这时，有四股强大的政治势力联合了起来，准备扳倒霍光，废除汉昭帝刘弗陵。
公元前80年，燕王流言没有效果，汉昭帝坚定不移的信任霍光，于是上官桀等人准备发动武装政变，具体计划是：由鄂邑长公主设宴邀请霍光，命埋伏的兵士将霍光杀掉，废除汉昭帝。但计划泄露，被汉昭帝与霍光获悉，遂在这一政变未发动之前，先发制人，将上官桀、桑弘羊等主谋政变的大臣统统逮捕，诛灭了他们的家族。鄂邑长公主、燕王刘旦自知不得赦免，先后自杀身亡。
至公元前80年，上官桀等谋反案结束之后，其他三位托孤大臣全部死掉，霍光成了唯一权臣，也是中国封建史上第一位权臣。
看似其他三人自寻死路，但笔者认为，即便金日磾不早死，也无法对霍光专权带来太大影响。金日磾、上官桀与霍光是结为儿女亲家，焉知不是霍光早日布局结果？此后桑弘羊与上官桀的"阴谋"，实际上也是霍光步步紧逼的结果。古人云，善战者无赫赫之功，其实善谋者也无赫赫之名，桑弘羊、上官桀走一步看两步，但霍光却是走一步至少看四步，看似无用的落子，却能在未来起到关键作用，这样的人放在任何一个时代都是主角。
不过，霍光给后世权臣们留下了一个悲剧的模板：权臣极致，不过霍光；权臣善终，不过霍光；权臣家族结局，大抵不过霍光。霍光死后一年，霍氏一族谋反，汉宣帝灭之，但霍光依然受到汉朝皇帝祭拜。
参考资料：《汉书》
