根据大清典制，皇后之父当册封承恩公，可慈禧并没有当过皇后，在她之上的慈安才是皇后，她不过是贵妃而已。然而，其子载淳登基成了同治皇帝，依制册封生母慈禧为皇太后，由于大清典制上没有如何册封皇太后家人的规定和先例，故依册封皇后的规定恩典皇太后的家人。
由此，慈禧之父惠征当晋封承恩公爵位，无奈其父早已亡故，于是由慈禧的大弟弟照祥顶替。册封后，朝廷赏下位于朝阳门内芳嘉园的承恩公府，起初称照公府，可照祥无福，当了两年承恩公便去世了，照祥无后，承恩公爵位由桂祥顶替。随之，照公府变成了桂公府。
桂祥除了顶替亡兄当了承恩公之外，还当过一任镶黄旗副都统。但清朝这类副职太多是荣誉职务，有衔无权的闲散之官，既不用坐班也不用点卯，逢年过节落个面便成。当然，拿这点俸禄和手握实权的那些大臣相比，几乎可以忽略不计。
桂祥是个不成器的人，他仗着是当朝太后的弟弟，整日吃喝玩乐，宫里赏赐的珍宝字画不停地往当铺里面送。慈禧对这个弟弟很是失望，此后连赏赐的东西也换成了寻常之物，通常是一些瓜果食物之类的。或许慈禧对这个弟弟也曾有过重用的念头，无奈烂泥扶不上墙，至死也没有混上个像样的差事。
