汉宣帝的时代，大汉中央高度集权，朝廷在国家政治中处于绝对的中心，拥有至高无上的权威。汉宣帝之前是汉昭帝，汉昭帝比较年轻就死了，昭帝之前就是高度专制的汉武帝。从汉武帝时代始，中央的权威是绝对不许挑战的。这样一种政治背景，其实对汉宣帝是非常有利的，因为当时的观念，皇帝就代表最高权力。
汉宣帝时代，霍光权势之大，让皇帝如坐针毡。霍光能立皇帝，也能废皇帝。但是，霍光不是曹操，他并没有篡位夺权的野心。因此，汉宣帝也不是汉献帝，并不是傀儡，是有人事任免权的。而正是这点，让汉宣帝最终能斗垮霍氏集团。
我们来看看汉宣帝是怎么做的。霍光死后，霍氏集团的权势仍然很大。霍光之子霍禹为右将军，手握兵权；霍山（霍去病的孙子）为奉车都尉，兼领尚书事。霍显是皇后霍成君的母亲，也是上官太后的外祖母，可以自由进出太后的长信宫。其他霍氏成员也多在朝中居显要职位，实力不可低估。
