不久，慈禧命人对胡雪岩抄家，他的阜康钱庄自从被挤兑倒后，无力尝还一些储户的积蓄，因此把胡庆余堂抵押给了最大的储户：总管内务府大臣费莫·文煜，因为这个储户之前在钱庄存有36万两白银。
（阜康钱庄的银票）
新老板文煜并未对胡家落井下石，他接过了胡庆余堂，并未将胡家老幼赶出胡府"芝园"，甚至还给了胡家18股胡庆余堂的"招牌股"，作为生计收入来源。当时的1股"招牌股"大约值1万银元。（胡庆余堂共有120股）
据了解，胡雪岩极度好色，一生女人无数，但是有名份的只有13个妻妾。并育有三子五女，长子胡楚三19岁便早殁，次子胡缄三育有两子，三子胡品三育有四子，人丁最为兴旺。
