综上可见，慈禧太后确实给自己弟弟桂祥建功立业机会，可这家伙实在不争气，让慈禧对其十分失望，女儿隆裕太后脸上更是无光，这导致桂祥彻底退出了官场。
回到京城后，桂祥并未受到处罚，反而又获得一个肥差-崇文门监督，这个职务虽不高，可油水极为丰厚，也就是说所有进出崇文门商品以及辖区内一切税务均能为他捞来不少钱财。一年不到时间，他的府邸被返修一新，又扩大了规模，可惜不到数月时间，便葬送在一场大火里，之后又修建了一个新府邸，可实际上比原有规模相差甚大。
慈禧太后有心培养桂祥，实际这家伙并不是当官的料，不仅不会当官，反而还拼命贪污，让慈禧太后很不是滋味，毕竟一个弟弟实在是个定时炸弹，一不小心就会被人下套，牵涉到某个案件里，这会让她更加难受，还不如给他一点闲职，反而不会让人抓到太多毛病。
桂祥失宠后，认为自己不够努力，便打算找机会好好发挥一番，八国联军进攻北京之际，慈禧太后西逃，桂祥认为机会来了，便拿来马鞭当起了车夫。本想会受到姐姐一番奖赏，可实际上一点羹都没捞到，让其十分生气。回到家李，他看到了慈禧字画，打算将这些东西拿到当铺去转卖，果真让其收益颇丰。
