公元前68年，霍光去世，汉宣帝亲自前往霍光灵堂祭悼，赐霍光谥号为"宣成侯"，以帝王的规格风光大葬霍光：派大臣专门负责霍光墓的修建事务，征调三河地区兵卒为霍光挖掘墓穴，拨出三百家民户侍奉墓园，设置长、丞负责守墓和祭祀事务。
此外，汉宣帝还任命霍光之子霍禹为右将军，封霍光兄长霍去病的孙子霍山为乐平侯，命他以奉车都尉的身份主管尚书事务。并下诏免除霍光后代子孙的赋税、徭役，让他们继承霍光的封爵、食邑，世世代代、永远不变。
汉宣帝之所以如此对待霍家，主要是因为霍光无论是对西汉，还是对汉宣帝本人，都是有功劳的。对西汉而言，霍光受汉武帝临终遗命，行周公之事，保持了西汉政权的平稳过渡；对汉宣帝而言，霍光则有拥立之大功。
那么，汉宣帝为何在三年前还对霍氏感恩戴德，而三年后却把霍氏灭门了呢？
班固在汉书中评价霍光时说："霍光受襁褓之托，任汉室之寄，匡国家，安社稷，拥昭，立宣，虽周公、阿衡何以加此！然光不学亡术，暗于大理；阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财三年，宗族诛夷，哀哉！"由此可见，在班固看来，霍氏遭到灭门，根源在于：霍光不学无术，不明大道，沉溺于过多的欲望。
