古代实行一夫一妻多妾制度，官员纳妾更是很常见的现象。海瑞的第一任妻子姓许，应该是和海瑞少年时的结发夫妻，许氏为海瑞生了两个女儿，后来海瑞把许氏休掉了，原因好像是因为婆婆海太夫人嫌弃许氏没有为海瑞生下儿子，孝顺的海瑞便休掉了婆媳关系不和的许氏。
海瑞的第二任妻子姓潘，在娶进海家一个多月之后，就又被海瑞休掉了。海瑞这次休妻的原因并没有明确的记载，大多数人猜测也是和婆媳关系紧张有关。
海瑞的第三任妻子姓潘，潘氏为海瑞生下了两个儿子一个女儿，与婆婆海太夫人的关系也相处得比较好。潘氏也是陪伴海瑞时间最长的一个妻子。
海瑞去北京做官的时候，他的母亲海太夫人嫌北方太冷，潘氏就一直陪着婆婆住在南方。海瑞的两个妾，就是在海瑞在北京的这段时间纳的，两个妾进门的时间只相差了十一天。
有人算过明清时期纳一个妾的费用，大概要花费一百多两银子，娶妻的花费就更大了。海瑞一生娶了三个妻子，又纳了两个妾，所以海瑞一生清贫，就算他后来做到了二品大员，他死的时候也没有留下多少钱财。
