就如胡雪岩猝不及防的崛起，他的衰落也是来得快如山崩。他的衰落有其经营不善的原因，胡雪岩抽出大笔资金和外国人赌生丝，导致钱庄周转不灵，又值大批人挤兑现银，只能无奈宣告破产。
也有人说正因胡雪岩是左宗棠的"钱袋子"，而李鸿章又因与左宗棠政见不合。李鸿章主张把放弃新疆，把军费集中海军，无疑左宗棠的收复新疆所耗军费皆从李鸿章口袋中硬生生掏出，而胡雪岩从中起的作用无疑让李鸿章大为忌惮，便有"欲整左宗棠，必先除掉胡雪岩"之说。
李鸿章派人断胡雪岩生丝之路，又宣扬胡雪岩破产之说，双管齐下让其破产。后又值左宗棠因病去世，胡雪岩再无翻身之地，只能临终宣称不与李姓通婚。
