而刘贺被废，还有一个不被大家所发现的原因。这要追溯到汉武帝时期皇位继承人选的问题。当时，为了争夺皇位，有两大政治集团，即太子刘据集团和昌邑王刘髆集团。当时霍光所在的霍家是支持太子一派。在经历"巫蛊之案"后，太子被废，霍家也因此深受牵连。
霍光亲身经历了这场你死我活的斗争，太子刘据集团惨败，昌邑王刘髆集团大胜，上一代恩怨使得霍光在面对刘贺的时，本身就有隔阂。而且还会产生"非我族类，其心必异"的心理，再加上刘贺刚继位就想要夺权的种种做法，就导致霍光感到危机感，于是就联合群臣将刘贺废除。
纵观刘贺的一生，从王爷上升到皇帝，又从皇帝跌落到诸侯，这样大起大落的人生对于刘贺来说，是有悲有喜的。悲的是，他本有机会位居高位，执掌国家生杀大权，但却因为自己的冒进丢失了机会。喜的是，他虽称了"下岗皇帝"，但因为后期谨言慎行，使得他最终得以善终。
