早年，刘贺行为就和常人不一样。他明明知道昭帝卧病不起，依然兴高采烈地外出打猎，和马夫、厨子寻欢作乐，在当时看来属于毫无人臣之礼。种种迹象表明，这不是一个合格的皇帝，而是一个浪荡少年。于是，在刘贺在位第27天，大将军霍光和张安世等谋划废掉刘贺。上官太后诏令刘贺回到故地昌邑，昌邑王国被废除，降为山阳郡。
刘贺有这么昏庸吗，曾经有许多史学家给刘贺正名，说他的一生存在疑点，当时的霍光权倾天下，刘贺被废最大的可能是触犯了霍光等集团的利益，从这里可以看出，霍光的权利已经凌驾于皇权之上了，我想，是昏还是不昏，最终交给时间证明。
