汉武帝统治后期，因为老迈昏聩导致政治混乱，轻信苏文、江充、韩说等人对皇后卫子夫和太子刘据的诬陷，酿成巫蛊之祸，太子和皇后皆自杀而亡。等到汉武帝熬不住的时候，才发现自己没有年龄合适的继承人，于是临终前将年仅8岁的刘弗陵立为皇太子，托孤霍光、金日磾、上官桀、桑弘羊等人共同辅政。从此霍光走向前台，大权在握。
金日磾辅政一年多就去世了，上官桀、桑弘羊因为与霍光政见相左，在与燕王刘旦反叛的过程中一起被处死灭族了，同时燕王刘旦，鄂邑公主自知不可能得到赦免，所以自杀了。之后的大汉朝堂，由于汉昭帝还是个孩子，无法独自处理政事，所以霍光大权在握。
霍光虽然位极人臣，但是他并没有生出反心，相反他一直忠于汉室，为人成熟稳重，做事又果敢善断，知人善任，是一个深谋远略的政治家。虽然他在昭帝刘弗陵死后曾经立海昏侯刘贺为皇帝又废除了他，改立汉武帝之孙刘病已为皇帝，但这都是由于刘贺自己荒淫无道。不仅司马迁说过：?"霍光之辅汉室，可谓忠矣。 "班固也曾赞扬霍光堪比周公和伊尹:"霍光受襁褓之托，任汉室之寄，匡国家，安社稷，拥昭，立宣，虽周公、阿衡何以加此！ "
如此看来，霍氏一族在霍光死后三年就被灭族，霍光不是罪魁祸首。
