可是，胡雪岩在其事业达到巅峰后，便大改本性，兴土木、造庭园；穿衣吃饭模拟王者，生活极其腐化。
他耗巨资营造的庭园被誉为"江南第一豪宅"。其中有张八宝床极尽奢侈，胜过皇帝的龙榻。据当时的《申报》报道，有个外国官员到杭州，宁愿住在胡府也不去官方的迎宾馆。
胡雪岩还是一位极品色郎。家中姬妾成群，建楼十三座来藏娇。然而他并不满足，还经常在街市上寻寻觅觅，看见有姿色的靓女，就请人说和，身价再高他也敢包，并顺手扔给女方的家人一份好差使。他仗着有财有势，把冒犯他的女子娶回后再一纸休书扔掉。他强买民女，通常只过三五天或一两个月，象吃荔枝一样，新鲜感一过就象扔垃圾一样甩掉，给一大把银子，任其改嫁张三或李四，自生自灭。
这样难招惹的主儿，谁还敢不唯命是从？
