在海瑞的生命中，只有母亲才是他的亲人。相对于母亲，他的妻子儿女对他来说都是过路人，他完全不CARE。海瑞为官清廉，为人正直，一生践行"存天理，灭人欲"的理学思想，却因为个人性格和家庭原因，一生有三个妻子，两个小妾。第一个老婆许氏，因为不能生儿子，要知道"不孝有三，无后为大"，于是被他休了。后来又娶了潘氏，却在不到一个月后又休掉。后来的王氏在海家自杀身亡，紧接着小妾韩氏也上吊自杀。年至七十的海瑞，最终又弄了一个年轻貌美的小妾，邱氏。海瑞并不是荒淫的人，一生中娶妻纳妾多人，一方面妻妾对他而言主要是两个作用，作为母亲的佣人，作为传宗接代的生育工具而已。他没有给予妻妾夫妻间应有的尊重和关怀。另一方面，和很多恶婆婆一样，海瑞母亲对于自己的儿媳妇多番挑剔，而每次海瑞都是站在母亲一边，所以这样的家庭里，妇女自杀也就不足为奇了。
另有记载说海瑞为了恪守礼法，竟然活活饿死自己的女儿。说有一天，海瑞年仅5岁的女儿在吃一块饼，海瑞问她是谁给她的，小女儿回答道："是男仆给的。"海瑞大怒："男女授受不亲，如果你是我的女儿，你应该饿死都不吃这块饼！"就这样，海瑞5岁的女儿自此再也不吃饭了，就饿死了。这个故事并没有出现在正史上，也许是后人为了宣扬腐朽愚昧的封建礼制编造的，通过这个故事，来弘扬"存天理，灭人欲"，"男女授受不亲"等愚昧思想。
