从总的情况看，海瑞用在娶妾上的费用不会少，即便只有三次，怎么说也总要三四百两银子。这对只取有限的法定工资的海瑞来说不能不说是一个非常沉重的负担，与他的生活贫困不能说没有关系。要知道，这些费用差不多是一个七品县令十年的工资了。
海瑞四岁丧父，由母亲一手带大。海家三代单传，家庭关系比较简单。但是，在海瑞的妻妾问题上却显得迷雾重重，异常的复杂。
黄仁宇先生的《万历十五年》说海瑞“曾经结过三次婚，又有两个小妾”。这个说法为许多著作所继承，比如易中天的《品人录》。以黄仁宇先生历史学家的素养，“三妻两妾”之说自然是有根据的，根据是海瑞同乡、侄女婿梁云龙所写的《海忠介公行状》。但是，同样是这篇文章，也提到了有人说海瑞娶过六次七次妻妾，甚至以此认为海瑞在这一点上“认真太过”――意思大概是有点花心了。另外，攻击海瑞的人还有“九娶”的说法，并说海瑞自己年纪很大了（“瑞已耄”），还娶年轻漂亮的女孩子做小老婆（“妻方艾”）。〔1〕《万历十五年》的说法不妨认为黄仁宇先生是相信“五娶说”。而“六娶七娶说”和“九娶说”有没有依据呢？从可靠的史料来看，海瑞先后有过三位夫人，又至少纳过三个小妾，因此“七娶”、“九娶”虽不能确定，“六娶”则是完全成立的。
海瑞的第一位夫人姓许，两人什么时候结的婚现在已弄不清楚，能够知道的是，嘉靖二十五年海瑞34岁的时候，许夫人被海瑞休弃了。在那个时代，一个女人被休弃是莫大的羞耻，何况这时候已经育有两个女儿，让一个女人离开自己生养的儿女必然也是莫大的痛苦。而且，似乎许夫人还在经济上吃了亏，为此，她还告过海瑞。
许夫人到底是什么原因被休，犯了“七出”中的哪一条？从“以大故所出妇许氏”的提法来看，许夫人似乎有过什么大差错，但是所谓的“大故”到底是什么呢？也许是没有生男孩，海家无后，这是比较靠谱的理由。是否如此已经无从查考。不过许夫人年纪尚轻，生育问题似乎不成理由。
另一种原因，也是许多人曾经猜测的，可能是她与海瑞的母亲海太夫人之间的婆媳矛盾有关。这样的事，在著名的汉代长诗《孔雀东南飞》里有过详细的描述，在单亲家庭中是一种比较常见的现象。问题在于，许夫人如同不幸的刘兰芝，海瑞是不是也有焦仲卿那样的感情？历史材料显示，海瑞并不是焦仲卿，他是个著名的孝子，他永远是无条件地站在母亲这一边的，这就决定了海家的媳妇不好当。
海瑞和许夫人离异之后，又娶了潘氏夫人。但是，潘夫人到海家之后不到一个月又被休弃，休弃的理由不得而知。
接着海瑞又娶了王氏夫人。王夫人比较争气，在海瑞到达淳安之前两年为海瑞生了个儿子，取名中砥。海瑞到淳安任上之后的当年，王夫人又为海瑞生了个儿子，取名中亮。王夫人还生了个女儿，不过什么时候生的不太清楚。嘉靖四十三年十月海瑞被调到北京户部（财政部）工作，海太夫人不喜欢到寒冷的北方去生活，海瑞没有办法，只好让王夫人携同二男三女扶侍海太夫人从海瑞在江西兴国县令的任上南归，而海瑞则带了两个仆人北上任职，这一年海瑞52岁。于此可知，当年海瑞任淳安县令的时候，他身边至少已有两个已经十几岁的女儿，和两个年幼的儿子。
王夫人于隆庆二年七月二十四日晚上去世，据海瑞说是生病死的，但也有人说是自杀的，《万历十五年》说王夫人“于1569年在极为可疑的情况下死去”（1569年的说法有误）。在王夫人去世前11天，海瑞的妾韩氏上吊自杀。这两件事联系起来，使海瑞的家庭生活变得扑朔迷离。韩氏为何自杀？王夫人到底因何而死？这些事已经成了历史之谜，但海瑞在官场上却有了非常不好的名声。这时候的海瑞在南京任正四品的通政司右通政（相当于副省级干部）之职，他是半年多前才到南京来的。那么，海瑞纳韩氏为妾可能是在北京，也可能是到南京之后的事，无论哪种情况，韩氏跟随海瑞的时间都不算长。
必须交待的一件事是嘉靖四十四年十月海瑞上了震惊朝野的尖锐批评嘉靖的“直言天下第一事疏”――《治安疏》而在次年二月下狱，两个儿子就在这一年死了，一个11岁，一个9岁，而海瑞已经54岁了。可以想见，这个打击对海家来说会是怎样的致命。妻死妾亡，海瑞的心态如何呢？据一封写给朋友的信件透露，海瑞说自己“每一思及，百念灰矣”，可见他未必是人们想象的那种无情之人，对妻妾也不是没有感情。而酿成这样的家庭悲剧，症结可能还是出在已近八十高龄的海太夫人身上。
海瑞还有一妾姓邱，史料中只说她为晚年的海瑞生了一个儿子，但长到三岁就夭折了。
海瑞于隆庆四年四月申请退休，获准后离开南京回家乡琼山闲居，从此离开官场15年，直到万历十三年正月已经73岁时才重新回到官场，到南京任都察院右都御史及吏部右侍郎之职。邱氏什么时候所纳史无明文，或许是海瑞在家乡闲居时所纳，但万历十五年十月十四日海瑞死的时候有“二媵四仆”。媵是侧室，也就是小妾。这二妾中有一个可能是邱氏，另一个则可能是重回南京后所纳（因韩氏已死）。当然，也不排除这二妾中邱氏不在内的可能。假定这二妾一个是邱氏，一个便是政敌攻击海瑞时所说“瑞已耄，而妻方艾”的那个“方艾”的女孩，那么海瑞也已经有过三个小妾，这样“六娶说”就不是高估，而是有确切证据的最低估计。