平日里，桂祥喜好抽大烟逛窑子，胸无大志还胆小如鼠，甲午战争爆发后，慈禧太后想给这个亲弟弟立功的机会，命他带兵出关迎战，结果到了战场却被血腥的场面吓到当场痛哭流涕，在将士面前颜面尽失，最后还是恭亲王奕实在看不下去了，派人将他送回京城才算了事。
（一生不得光绪喜爱的隆裕皇后）
由此可见，桂祥不能因其姐慈禧太后权柄在握而登堂入室封侯拜相，不是因为慈禧无情，实在是自己太不争气，不仅慈禧对他大失所望，连他的二女儿隆裕太后脸上都觉无光，所以在慈禧太后死后桂祥彻底退出官场也在意料之中的事。
不过桂祥虽然政治能力低下，但是他作为皇亲国戚，身份依然极为尊贵。长姐慈禧是大清圣母皇太后，二姐是醇亲王福晋，因此桂祥是同治、光绪两朝皇帝的亲舅舅，又是醇亲王载沣的小舅子。桂祥的三个女儿也都嫁的很好，长女静荣被指婚许配给惠亲王绵愉的长孙辅国公载泽；次女静芬由慈禧做主，成了光绪皇帝的皇后，因此桂祥既是光绪帝的亲舅又是他的岳父。三女儿静芬则被指婚嫁给铁帽子王---顺承郡王纳勒赫为福晋。三个女儿不是嫁给皇帝，就是嫁给郡王国公，还有两个地位尊贵的姐姐，桂祥的身份何其尊贵，真的算的上是清朝最强皇亲国戚了。
