1906年，胡兰成出生于浙江嵊县北乡胡村，胡兰成出生的时候，父亲年纪已经很大了，母亲也已经41岁了，是父母中年得子，1917年胡兰成拜当地俞姓财主为义父，由其支持学业。
家中已经有其他子女，因此父母对胡兰成也没有多宠爱，而胡兰成更是从小就对亲情淡漠，甚至父母去世后也没表现出一丝伤感，薄情可能是胡兰成天生带在骨子里的秉性。
在遇到张爱玲之前，胡兰成已经娶过了三个女人，第一个女人是原配夫人唐玉凤，胡兰成18岁的时候，她19岁，比胡兰成大了1岁。他们在父母的主导下定了亲，两年过后就结了婚，第一次洞房花烛，胡兰成的心里自然是美的，和玉凤的感情也算美满。
但时间长了，胡兰成看到玉凤没有读过书，又不像其他女学生那样会打扮，就开始觉得她太俗气，“我不满意玉凤……她又不能烟视媚行，像旧戏里的小姐或俏丫鬟，她是绣花也不精，唱歌也不会。”
结婚后，胡兰成一直在胡村的小学里当老师，半年的薪水只有35银元，日子过得很辛苦，玉凤却是一直勤勤恳恳地侍奉婆婆吴菊花，给胡兰成生了一个女儿一个儿子，女儿早夭。
后来，胡兰成听说外面工资高，就跑到了杭州、北京等地工作，住在中学同学斯颂德的家里时，心思不正的胡兰成便撩拨他16岁的妹妹雅珊，被下了逐客令赶了出去。
胡兰成在萧山湘湖学院教书的时候，玉凤带着三个月大的女儿来找他，他并不高兴反而觉得很麻烦。后来回了胡村的玉凤便因为太过操劳在病倒了，胡兰成家里没钱治病，去俞家借钱又不好意思开口，干脆就在俞家住了下来，也不去想别的办法，丝毫不管卧病在床的妻子。
直到玉凤咽气的时候，胡兰成还赖在俞家没回来，面对已经病逝的玉凤，他终于放声痛哭，后来还在书中写到：“对于那些天崩地裂的灾难，与世割断的恩爱，都不会使我流泪。我幼年的啼哭已经还给了母亲，成年后的哀泣也已还给了玉凤，此心已回到了如天地不仁”。
其实，胡兰成的心本来就是天地不仁，他对玉凤也是一样的冷漠自私。在广西教书的时候，28岁的胡兰成娶了他人生中的第二个妻子，名叫全慧文，据他自己说，仅仅是因为“不要恋爱，不要英雄美人，惟老婆不论好歹总得有一个。”
