并且刘贺还向朝廷官员下令征集他们的物品，27天之内这样的事情竟然出现了1127起。而当时霍光在让刘贺继任皇帝的时候，曾经说出一个条件，那就是他必须要用先帝之子的身份继承皇帝，不能够再认他原来的生父为父亲。而刘贺在入京之后却用太牢的礼节来祭祀生父的宗庙，并且自称为是生父的儿子的皇帝，根本就不管霍光以前的要求。
不过刘贺显然是低估了找他来的霍光的权势，在夺权的时候刘贺明显是太着急了，更不用说他本身的行为就太过于荒唐了，他还宠幸以前昭帝的嫔妃，在守丧的期间还整天娱乐嬉笑着，让霍光实在是忍受不了。于是就想要将刘贺废黜，在刘贺登基27天之后，霍光和张安世商议之后，决定以乱汉制度，荒淫无形，失帝王家的礼仪为罪名，通过政变的方式把刘贺给废了。
后来霍光找来了以前昭帝的侄子，继承了皇位，成为汉宣帝。而汉宣帝也忌惮刘贺，所以密切监视他，后来把刘贺封做海昏侯。赐他食邑4000户，不过在隐忍多年之后，刘贺出现了疏忽，在和当地的一名官员畅谈心事的时候说出了自己当时没有除掉霍光的遗憾，还想要东山再起，汉宣帝听了之后非常生气，把他的3000户食邑剥夺。
