没怎么读过书的桂祥得到重要的官职后，整天都在无所事事的混日子，再加上自己的身份导致周围的人都来巴结他，也让他有点得意忘形。上面有人罩着，下面还有人巴结着，这钱不费吹灰之力就来了。这样的状态下导致他更加的猖狂，本来慈禧对他是睁一眼闭一眼，直到得知他欺压百姓，惹是生非后，觉得实在是给自己丢脸，便将他赶回了家。
回到家的桂祥根本没有意识到自己的错误，不仅依旧不思进取，还常常因为没有钱花而去典当家里的一些名贵物品，拿到钱后就去花天酒地，实在没有物品典当的时候就去宫里找姐姐和女儿们诉苦，一方面能得到她们的救济，另一方面也能顺手牵羊拿点宫中的物品。
