可令所有人都想不到的是，这刘贺实在是太不争气，其在位不到一个月时间，竟干了上千多件荒唐事。在和群臣商议之后，霍光就把这件事情禀告给了太后，也就是他自己的外孙女，太后肯定是听霍光的了，而后就让霍光去处理这个事情，就这样刘贺在当了二十七天皇帝以后就被废了，跟随他进京的两百多人都被处死。
从那以后，刘贺就一直仕途不顺，他先是回老家当昌邑王，后来又被贬为海昏侯。后来霍光迎立在民间长大的卫太子之孙刘询为皇帝，就是史称的汉宣帝。通过霍光和宣帝的共同努力下，国家逐渐繁荣起来，不仅把西域囊括进入大汉的统治，而且还降服匈奴称臣，把汉武帝生前未了的心愿全部完成。
虽说霍光一生公忠体国，但也不能说其没有私心。霍光在治家方面尤其失责，汉宣帝揭发妻子许平君的死与霍家有扯不清的关系，霍家却依然飞扬跋扈不知收敛，就因为这样，为霍家后人埋下了造反的种子。
在霍光死后，其家人就意图造反，最终还是被汉宣帝灭族。而霍光为国家立下的卓越功绩是不可磨灭的，后来汉宣帝感念当年的有功之臣，就在皇宫挂上十一功臣的画像，在这十一个人当中，霍光的功劳最大，汉宣帝把霍光列在了首位。其实不光是在汉宣帝时期，就算是汉朝后世的其他皇帝也一样是将霍光的画像尊奉。
