根据相关的史料记载，刘贺知道自己要被安排继承皇位了，所以，在到达未央宫之后，他事事循规蹈矩，一切按照规定的礼仪办，并在汉昭帝的灵堂前痛苦致哀。这样的举动赢得了满朝臣子的认可，大家对他还是颇有好感的。但是，实际上的刘贺却是一个不学无术的纨绔子弟。
他的行为怪异，做事荒唐，根本就不是什么帝王之才，之前的彬彬有礼不过是为了蒙混过关的假象。所以，在他顺利过关当上皇帝之后，他的性格就暴露出来了。荒淫无度，荒唐处事的本性也随之展露出来，据说，他在位27天，一共做了1127件坏事。
这样无能的昏庸之辈，定是不能做皇帝的，所以，霍光决定"更选贤而立之"。于是，与亲信大臣田延年、张安世等密谋，想要将刘贺给废掉。他联合群臣向太后陈述刘贺做的各种荒唐行径，然后，以太后的名义宣布废黜刘贺，还把跟他一起从封地昌邑来的两百多名亲信随从都给处死了，其他人则被判刑或流放，刘贺本人被赶回昌邑。
没过多久，霍光就另外立了刘询做皇帝，也就是汉宣帝。刘贺回到昌邑后，汉宣帝刘询派亲信大臣张敞做山阳太守，暗中监守刘贺。通过张敞的多方调查核实，发现刘贺被废之后，整日沉迷于酒色当中，变得更加昏愚痴狂，毫无志气，自然没有了起事的能力，于是，便秘密写了一份奏折，将情况告知刘询。接到密报的刘询，将刘贺迁往江西，改封为"海昏侯"，食邑4000户。
