汉武帝死后，留下了三位大臣辅政，分别是霍光，上官桀和金日磾。可见三人在汉武帝时期在朝廷中的话语权是相当大的。这三人中，上官姐桀和霍家是有联姻关系的。所以可以算作是霍光一派，虽然后来被霍光杀了。不过这也证明了霍光实力强大。金日磾是匈奴降将。在朝廷中没有什么根基，况且当时年事已高，因此不可能对霍光构成实质性威胁。
汉昭帝在位期间，霍光成功排除异己，成为一人之下万人之上的权臣。他的权力，甚至可以决定皇帝的选择(参考昌邑王刘贺)，即使是后来的汉宣帝，虽然看不惯霍光的飞扬跋扈，却也只能隐忍不发，一直等到霍光去世才铲除霍氏家族！
