可是这样的商人在晚年时期，同样出现了问题。左宗棠去世之后，李鸿章等人对胡雪岩早就非常反感了。李鸿章深知倒左先倒胡的策略，左宗棠一死，胡雪岩就成为了"瘸子"，没有了左宗棠的支持，什么事都做不成。
最终的胡雪岩在上海生丝大战中，一败涂地。胡雪岩发家用了三十年的时间，破产仅仅用了三天。破产之后的胡雪岩在光绪十一年惨然死去。临死前，胡雪岩的全部财产都被清朝没收。这时候的胡雪岩，家族一贫如洗。
家族败落之后，胡雪岩在临终之前，对自己的子孙说出了五个字："白老虎可怕！"。这里的白老虎指的就是白银。胡雪岩这一句话，让胡雪岩的子孙后代没有做官经商的。现如今，胡雪岩子孙遍布各个领域，却真的没有一个从事商业。胡雪岩的子孙，现如今大部分在海外，从事文科教育工作，已经完全没有了经商做官的后人。
