刘贺的荒唐行经，引起了霍光的气愤和后悔，也使他感到了事态的严重，如果不及早处置，将会使汉家天下断送到刘贺的手里。霍光决定"更选贤而立之"，他联合了群臣，在得到皇太后的允许后，乘着刘贺玩乐的机会，控制住了他从昌邑带来的亲信。接着又在未央宫承明殿召开"公审大会"，列举了刘贺的种种"劣迹"，将其废黜。
刘贺被废后，霍光将刘据的孙子刘病已立为皇帝，即汉宣帝。这汉宣帝会办事啊，什么都不管，霍光想干啥就干啥，最后霍光还不满意，将汉宣帝的结发妻子毒死，让自己的孙女做皇后，这些汉宣帝都忍了。等霍光一死，汉宣帝便下令灭霍光九族。
