细究其在《汉书》里的过错，大多是一些奢侈过度，寻欢作乐，提拔旧臣，任性妄为的事，在当时，对于群臣而言，这根本不是一个皇帝该做的事，在他们眼里，刘贺根本无法继承大统，群臣担心刘贺会败坏汉朝名声，危害江山社稷，甚至连霍光都无法接受如此奇葩的皇帝，于是便协同群臣，谒见皇太后，细数刘贺的罪责，皇太后听后，未加思索，便和群臣们商议了废帝的事宜。
随着皇太后的召令，废帝的程序便很快展开来，霍光先将刘贺的近臣全部关押，然后在朝堂上联合群臣怒斥刘贺的种种劣迹，刘贺跪伏在地上，任由侍从解下他的绶带，拿走了他的玉玺，一脸的惊恐。
过后，刘贺缓缓起身，霍光担心他会自尽，急忙上前搀扶，刘贺跨出朝堂，解下宽衣，向着西面的天空长叹，不知是为愧责，还是为解脱。
刘贺被贬回了昌邑，为了防止刘贺报复，太后将昌邑国降为山阳郡，收回了兵权，其近臣也尽数被杀。
公元前63年，汉宣帝封刘贺为海昏侯，封地为豫章郡海昏县（今江西南昌）。
公元59年，《汉书》中荒唐了一生的刘贺去世，年仅33岁。
3、真相难究
虽然史书中对刘贺的评价极其夸张和负面，但至少可以从中窥见一斑，刘贺至少不会是一代明君。而历史上的著作对于刘贺的评价也基本上是负面的，这一直到2015年才有了改观。
2010年，海昏侯刘贺的墓展开了发掘，2015年，考古界公开了对海昏侯刘贺墓的发掘内容和文物，并对历史上真实的刘贺提出了疑问。
根据汉代“视死如生”的陪葬思想。发掘出来的文物很多都与史书中的刘贺相悖。其中有两项文物最具说服力，一项是墓室中存在的大量书籍和图画，因为史书中的刘贺是一个不读圣贤书，不知天下事的人，一个不爱看书的人，怎么会在墓室里放大量的书籍呢？
另一项文物是一个刻有“李具”字样的精致的杯子，这是属于其奶奶，汉武帝夫人李氏的，这可以看出刘贺挂念其祖母，说明刘贺是一个孝顺的人，而史书中说刘贺不忠不义不孝，这一点至少是可以反驳的。
反观《汉书》，古代这种极具主观性的史书本身就受当时统治者的意志左右，而《前汉书》本身就是东汉编纂，并非西汉同期所著，很多真相难以考究。
而历史上真实的刘贺，是否真是如同史书中的那么不堪，还是被权臣玩弄于股掌，身上挂满了“欲加之罪”，沦为统治失败后的牺牲品。
而这些，都沉寂于那段销声匿迹的历史长河里。
