此刻一个巨大的阴谋开始暗中酝酿：左宗棠有胡雪岩这个"钱袋子"，一直想将他置于死地的政敌李鸿章也有自己的"小金库"，那就是著名的实业家盛宣怀，李派喊出了"倒左先倒胡"的口号，想要彻底除掉胡雪岩。当时为了还银行的欠款，胡雪岩每隔半年就会从上海道邵友濂手中，拿到朝廷已经准备好的八十万两白银还给银行，可是这一次李鸿章让盛宣怀暗示邵友濂，把这笔还款缓发二十天。
盛宣怀
洋行何等精明，他们一天都不可能等，马上就催着胡雪岩交还欠款，胡雪岩只好先用钱庄里的钱抵债，并且发电报让左宗棠帮忙催收欠款。这封电报被掌握了全国电报业的盛宣怀截获，他由此推断胡雪岩手里已经没有流动资金，于是派人去钱庄取钱，取不出钱来就到处说阜康钱庄挪用民众财产。一时之间所有人都来钱庄取现，胡雪岩拿不出钱来，只好卖房卖地，甚至把胡庆余堂都卖了抵债，经过这短短二十天的折腾，胡雪岩彻底从首富变成了穷光蛋。
此时李鸿章又落井下石，他知道胡雪岩每次向朝廷要钱时，都提高了一点利息，于是就把这件事告诉了慈禧太后，慈禧太后大怒，当即就下令将胡雪岩革职抄家，永不任用。1883年，胡雪岩的家产被抄没一空，连左宗棠对他也是爱莫能助，不仅如此还奉命查封了他的阜康钱庄。至此用了大半辈子积攒家业的胡雪岩，又成为了当年那个一无所有的放牛娃。
1885年，一无所有的胡雪岩在贫穷和愤懑中凄然离世。在临终之前，也许胡雪岩想起了他最痛恨的李鸿章，他用最后一口气告诉子孙："胡李世代不得通婚。"纵观胡雪岩的一生，他虽然在努力地摆脱曾经的贫困，想要成就一番事业，但是在那个封建帝制如同大山一样牢固的年代，胡雪岩不过是一个可以随时被抛弃的棋子罢了。
