据史书记载，他这个人当上皇帝以后，表现得完全是荒淫好色、一塌糊涂。他当初接到诏书，还没有当上皇帝，就开始沿途强抢民女纵情声色；此后到了京城，居然也不愿意到昭帝灵前祭拜，借口自己身体有恙；此后更是在昭帝尚未下葬期间，就把他的妃子占为己有。由于他的表现实在不堪，使得拥戴他上位的大将军霍光也是看不下去了。
为此他将刘贺在短短27天里的罪行，收集起来后竟然达到1127条。看到这么多的罪行，霍光只好带着文武百官去找太后商议。为此刘贺也只不过蹦跶了27天，就被太后给废掉了，此后过了4年也离开了人世。正因为史书上有着如此的记载，大家都认为，他确实是德不配位、罪有应得。
