《庄谐选录》又记载：有一次，胡雪岩路过一家裁缝店，看见门口有一个苗条女子，就盯着女子多看了几眼，女子觉察后急忙关门进了屋子。胡雪岩回去后，派人拿着大把的银子向女子的父亲去提亲，见钱眼开的父亲答应了胡雪岩的提亲。胡雪岩将女子娶回之后，只是为了侮辱这女子，竟让女子裸体躺在床上，又让仆人在一边高举着蜡烛。他却来回踱步看着女子，放声大笑说："前几日你不让我看，我偏要看。现在你还有什么办法制止我？"胡说岩说完推门而去，到别的小妾房中过夜。第二天胡雪岩就休了这女子。
胡雪岩姬妾成行，号称"十二金钗"，平时，让诸妾穿上写着"车"、"马"、"炮"字样的红蓝马甲，登到在高台上画好的棋盘上，红蓝对峙，胡雪岩和夫人在栏杆后用竹竿指挥她们"下活棋"。晚上他又像皇上翻牌子挑选侍寝。胡雪岩和姬妾一起过着肉林酒池、欢歌盛宴的奢靡生活，享乐纵欲无度，挥金如汤沃雪，派头甚至超过了皇帝。
胡雪岩贫寒出身，在短短十几年的时间里迅速发迹，成为当时富可敌国的巨商富贾。然而，事业有成的胡雪岩时时处处显露出"暴发户"的浅薄和荒淫，生活方面极尽奢靡，最终又在短时间之内败落而终，终年六十二岁。
