班固曾赞叹曰：''霍光受襁褓之托，任汉室之寄，匡国家，安社稷，拥昭，立宣，虽周公、阿衡何以加此!''这是将霍光比作周公旦和伊尹，赞誉不可谓不高。''
汉宣帝刘询也评价说：''故大司马、大将军、博陆侯宿卫孝武皇帝三十有余年，辅孝昭皇帝十有余年，遭大难，躬秉谊，率三公、九卿、大夫定万世册，以安社稷，天下蒸庶咸以康宁。功德茂盛，朕甚嘉之。复其后世，畴其爵邑，世世无有所与，功如萧相国。博陆宣成侯光宿卫忠正，勤劳国家。''可为何汉宣帝最终还是要亲自埋葬立下如此功勋的家族？
其一，霍光大权在握，危及皇权。司马迁说：''夫威福者，人君之器也。人臣执之，久而不归，鲜不及矣。''霍光专权太长时间，而且多置亲党于朝廷，极大地威胁到了皇权。
其二，霍光妻子霍显，毒死皇后许平君。霍显一直想让她的小女儿霍成君成为皇后，便买通御医淳于衍，在汉宣帝即位三年之后毒死了已经怀孕的许皇后，由此被汉宣帝记恨。班固所说的：'' 阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸。死才三年，宗族诛夷，哀哉！''说的便是霍显。
