随后霍光让皇太后去未央宫，并且禁止刘贺心腹进宫。刘贺一见皇太后当即就决定赶紧撤，但是禁宫的宦官直接把门关闭了，把刘贺的心腹全部阻止在外，只允许刘贺一人进宫。霍光让车骑将军将刘贺所有心腹全部下狱，而皇太后也宣布废掉刘贺。此时刘贺和霍光终于撕破脸见面了，刘贺说："天子有七个忠臣，就算失德也不会丢失天下。"这句话出自《孝经》，霍光就是用《孝经》指责刘贺，并且还想着废掉刘贺。此时刘贺反而指责霍光并没有忠臣，并没有辅佐皇帝治理国家。霍光也没办法反驳，不过哪又有什么关系？
霍光摘掉刘贺的绶带，然后把玉玺交给了皇太后。刘贺反驳有用吗？刘贺的心腹已经被一网打尽，朝廷大臣包括皇太后都支持霍光，他刘贺还能怎么办？刘贺自嘲道：也是我无能，当不了皇帝。很显然刘贺已经知道了自己的结局，并且早已预料到了。刘贺自从被立为皇帝到被废，只因为一件事，那就是政事一决于霍光。刘贺和霍光之间的争斗明显就是过江龙和地头蛇的争斗，是帝和臣的争斗，也是阴谋和阳谋的争斗。霍光就是用的阳谋，我需要阴谋吗？不需要，我只需要堂堂正正的让文武朝臣站队，然后光明正大的废你就好。
同样的历史的，不同的书就有不同的结果出现，?虽然事情都是一样的事情，但是看的角度就不一样。司马光身处于政治中枢，他对这些阴谋诡计和阶级斗争非常清楚，所以他写历史的时候都会着重描写一些权谋术。有的时候人真的要学点历史，不然被人害都不知道自己是怎么死的。刘贺被废很重要的原因就是因为不懂隐忍，上来就和霍光对着干，激怒霍光导致丢失自己的身家性命。相反汉宣帝就不一样，上位之后一直隐忍，就算自己的妻子被毒杀也忍。直到霍光一死就迅速清理霍家，重新收回权利。
