霍光虽然本人谨慎自律，没有什么过失，自己妻子却利欲熏心，毒死了汉宣帝的发妻许皇后。霍光死后，霍家害怕事发，而图谋叛变，被汉宣帝全部治罪。
而且就霍光本人而言，也是该归政的时候没有及时归政。司马光评价他说，威富是作为君主的神器，身为臣子，不该一直抓着不舍得放。无论是汉昭帝还是汉宣帝，都是智慧过人、才干卓著的君主，霍光应该早早归政。
霍光能一直把持朝政，后来并没有因恋权不退、妻子毒杀皇后、举族造反而在死后被清算，得益于两位明主。
汉昭帝继位六年，上官桀、燕王设计陷害霍光。十四岁的汉昭帝就根据消息传递的时间，推断出这是一场阴谋。后来汉昭帝一直坚定了站在了霍光身边，才使得霍光粉碎了反动政治集团。
汉宣帝在霍光死后，粉碎了霍氏的谋逆之举。然而依然保留了霍光的陵墓待遇。并在后来册立的"麒麟阁十一功臣"中，将其列在第一位。并且封霍光堂弟的曾孙霍阳延续霍光的博陆侯，丰祀霍光。
霍光辅政近二十年，始终牢记汉武帝的托付，休养国力、两扶幼主，使大汉政局安定、国祚绵长。而汉昭帝和汉宣帝两代明主也一直支持这位顾命大臣，既没有被逆臣蛊惑，也没有事后清算报复，才使得辅政的霍光做到全始全终。
