海瑞的第一任夫人潘氏，性情贤良，勤劳善良，但是婆媳关系却非常紧张，潘氏多年不育，这就触了海母的逆鳞，在争吵之中，海母粗鄙的骂她是女骡转世，在争吵之后，还要儿子把她休掉。第二个老婆进门不到一个月，就被赶出家门。
海瑞娶的第三任老婆王氏很争气，给他生了两个儿子一个女儿，可惜的是儿子都夭折了。隆庆二年（1568年）七月二十四日晚上，王氏突然暴毙，海瑞对外声称是生病死的，但朝中一些和海瑞有过节的人捕风捉影，说王氏死的蹊跷，理由是王夫人死的前十一天，海瑞的小妾韩氏上吊自杀，一旬时间死了一妾一妻，必有原因。海瑞因此被弹劾，由于是家事，加上王家没有追究，此事不了了之。
隆庆四年四月，海瑞申请退休，然后就回老家琼山过起了退休生活，从此他离开官场15年，直到万历十三年正月73岁的时候才重新回到官场，之后死于万历十五年，死的时候，有"二媵四仆"，媵是妾室。
在海瑞看来，他的婚姻生活算不上糟糕，毕竟他是官，是有社会地位的人，休妻纳妾正常得很。但如果从女性的视角来看，大孝子海瑞是一个卫道士不假，但他的道里面是不包含女人的。
