霍光当政之初，实行内结宗室，外联群臣的方针，得到了大多数大臣们的支持。但是随着汉宣帝逐渐培育自己的势力，霍光也感到了心慌。他在辅政时，一改之间的宽松政策，突然"遵武帝法度，以刑罚痛绳群下"，就是不自信的表现。他杀掉了有转投宣帝阵营嫌疑的廷尉王平、少府徐仁及左冯翊贾胜胡等人，接连任命唯自己马首是瞻的张敞、蔡义、韦贤等人为丞相，也将一些大臣们推到了自己的对立面上。
车骑将军张安世也是三朝元老，拥立重臣，在霍光过分集权、为政严酷之际，他十分担忧霍光会对自己下手，除掉自己震慑宣帝，所以义无反顾的转投到宣帝的阵营之中。而正是由于张安世的支持，汉宣帝才能将霍光的大女婿长乐卫尉邓广汉、二女婿羽林监任胜、三女婿度辽将军范明友、姐夫光禄大夫张塑、孙女婿中郎将王汉调出京师，由张安世为担任卫将军，掌握长安十二门的警卫部队和北军。霍光见势已至此，叹曰"霍氏世衰，张氏兴矣"。
总之，宣帝即位后，表面上与霍光相处颇为和睦，但暗中双方的权力博弈却相当激烈。但是宣帝扩权的手段绵密而细致，又对霍氏家族严加防范，使霍光在对其心生疑忌之时，又意存希冀，让霍光始终下不了叛乱之决心。当后来张安世、杜延年、丙吉等人都倒向宣帝时，霍光再想反叛已无可能，从而为宣帝在霍光死后，清除霍家势力赢得了时间。
