但实际上这1127条罪行并没有明确记载，其中有几条是说他在汉昭帝孝期就开始私底下吃肉，并且在来到国都时并没有为汉昭帝哭泣，同时还肆意享乐，给昌邑带来的班底大肆分封奖赏等等。
可怜的刘贺皇位不过只坐了27天就被废，并且他的昌邑王国也被废除了，成为了山阳郡（顺便一说，汉献帝刘协被废后正是被安置在了此地，成为了山阳郡公）。霍光又另立李太子刘据之孙刘询为汉宣帝。
刘询对这个前任皇帝还是放心不下，因此在公元前63年封其为海昏侯，让其前往豫章海昏县，同时一直对其严加看管。当时豫章这一块非常贫瘠，再加上一直被监视着，刘贺仅担任了3年海昏侯就去世，直到16年海昏侯墓被发现，有关于他的故事这才重新开始流传。
顺便一说，真正的刘贺或许不聪明也不优秀，但就出土文物来看，他也绝不是霍光撤其皇位时说的那般不堪，比如说他墓中出土了生前喜爱的历代圣贤屏风，还有诸多古籍，这都证明了他并非不学无术之辈；而且他一直将李夫人（刘彻妻子之一，刘贺的祖母）的杯子带在身边，并且作为陪葬品，这证明了他也并非不重视孝道。
根据史学家猜测，或许是因为刘贺颁布的一些政令触及到了霍光的利益，所以才使得他遭到了这些污名，不然刘询也不会对刘贺一个只图享受的废帝会如此忌惮。同时刘询正是因为受到了刘贺的教训，才没有那般急功近利，而是徐徐图之，最终扳倒了霍氏一族。
