但是，胡雪岩最终败了，曾经荣华富贵烜赫一时的胡府变得"门前冷落车马稀"，再不复当年荣耀，这时候，人性之恶也显露无疑了。那些十几年来享尽了荣华富贵的姨太太、侍女们纷纷收拾行装，陆续离开了胡府，可谓是富有的时候身边全是好人和亲人，落魄的时候身边全是坏人和恶人。
当然，对胡雪岩来说他还是幸运的，最后他的老母亲、结发妻子和九姨太还是陪在他身边，不离不弃。
值得一提的，原本胡雪岩是怀着希望的，可1885年9月他在政治权利场上的大靠山左宗棠在征讨法军时生病去世了，李鸿章却转身一变，成为清廷中无人能敌的汉臣，这样一来，胡雪岩瞬间就失去了东山再起的可能，终归是在忧郁怨叹中于1885年11月去世，享年63岁。
他死后，由于胡母年事已高，大太太心神恍惚，胡雪岩的后事都由对他一心一意的九姨太打理，后来胡母和大太太相继过世后，孤身一人的九姨太也将自己吊死在了胡府之中，也完成了当时与丈夫胡雪岩"生死与共"的山盟海誓。
