因此伴随着胡雪岩纳妾休妾，胡雪岩做的生意也越来越大。胡雪岩自认为在清朝商人中天下无敌，但是他还是被人盯上了，这个人就是李鸿章。李鸿章是左宗棠的政敌，两人因为塞防，还是海防争论不休，渐渐演变为私人的矛盾。
李鸿章不好对左宗棠下手，盯上了左宗棠的钱袋子胡雪岩。李鸿章命令部下，在暗中搞鬼，利用胡雪岩押本生丝生意，在三天内，搞垮了胡雪岩的商业帝国。胡雪岩失去了往日的辉煌，抑郁而终，临终遗言："胡氏后人永世不得与李氏通婚"，悲愤离世。
对于胡雪岩的做法，袁世凯曾经说过一句话，那就是："有能力的人才能纳妾"。袁世凯作为谋权篡国的奸臣，从这句话可见他的卑劣。而胡雪岩以数百女子的幸福，打响自己的名声，也不是正人君子所为。
