据班固著《汉书 霍光金日磾传》记载："受玺以来二十七日，使者旁午，持节诏诸官署征发，犯一千一百二十七事。荒淫迷惑，失帝王礼谊，乱汉制度。臣敞等数进谏，不变更，日以益甚，恐危社稷，天下不安。光即与群臣俱见白太后，具陈昌邑王不可以承宗庙状。"
刘贺在当皇帝的这二十七天里，所犯下的一千一百多条罪状，平均每天犯四十多种罪。荒淫昏乱，失去帝王礼仪，破坏汉朝的制度。杨敞等人几次进言规谏，他都不改变过错，反而一天比一天厉害。朝臣们担心刘贺要危害国家，使天下不安。于是霍光同群臣一起谒见禀告上官太后，详细陈述昌邑王不能继承皇位的情况。
在上官太后的授意下，霍光同各位大臣一起联名奏劾昌邑王，尚书令当庭宣读了弹劾奏章，细数刘贺即位以来种种不孝违法之行，随即便将之废黜。
刘贺被废后，大将军霍光尊立汉武帝曾孙刘询为皇帝，是为汉宣帝。随着霍光病逝，汉宣帝逐渐大权在握，他将霍光一门灭族。同时对刘贺心生忌惮，于是命人日夜监视一举一动。
