传言胡雪岩个人财产，近3000万两白银的家业，田地万亩。有这么多钱，是个人都会让自己生活的更好一点。但是有可能是胡雪岩小的时候，过怕了贫苦的日子，所以有能力之后，胡雪岩对于自己的生活，那是怎么奢侈怎么来。
《清代七百名人传·胡光墉传》记载：胡雪岩修建"第宅园囿，所置松石花木，备极奇珍。姬妾成群，筑十三楼以贮之"。"大起园林，纵情声色，起居豪奢，过于王侯，骄奢淫逸，大改本性。"他自己修建了一个"江南第一豪宅"不说，还专门修了一个"十三楼"，用来安排自己的姬妾。
姬妾住进十三楼之后，胡雪岩像是一个帝王，每日临幸十三楼。还模仿帝王，弄了个"翻牌子"。每天晚上，会有侍女端来写有姬妾名字的牙牌，胡雪岩今晚想在哪里睡，就翻谁的牌子。他还让诸妾穿上写着"车""马""炮"字样的红蓝马甲，登到在高台上画好的棋盘，红蓝对峙，胡雪岩和夫人在栏杆后用竹竿指挥她们，"下活棋"。胡雪岩和他姬妾一起过着肉林酒池、欢歌盛宴的奢靡生活，享乐纵欲无度，挥金如汤沃雪，派头丝毫不亚于皇帝。
他的女人，自然不止住在十三楼的"东楼十二钗"。《见闻琐录》记："凡买而旋遣者，殆数百人"。胡雪岩会买许多女子，但是因为他喜新厌旧，因此会定期遣散一些女人，光是遣散的人，就有几百人那么多，由此可见胡雪岩的生活过的是多么奢侈淫糜。《庄谐选录》："杭人胡某，富坷封君，为近今数十年所罕见。而荒淫奢侈，迹迥寻常所有，后卒以是致败。"
