海昏侯刘贺墓出土的编钟
但事实证明，这仍不是一个好的选择。史书谓刘贺"好游猎，驱驰国中，动作亡（无）节"。做了皇帝，并没有让刘贺有所收敛。若仅仅是生活奢靡，也许并没有太大问题，问题是这位新君急于摆脱霍光的控制，建立自己的执政班子。他将昌邑官属全部征至京城，并超迁拜官。这让霍光等朝廷旧臣十分不安。
霍光与几位重臣密谋，以刘贺"荒淫迷惑，失帝王礼谊，乱汉制度"为由，请求皇太后废黜刘贺。昌邑王即位仅二十七天，便被废，他从昌邑带来的二百余臣僚，除少数几人外，悉数被杀。
选立新的皇帝再次被提上日程。由于武帝子孙零落，可供选择的人并不多。这时，流落民间、身为庶人的卫太子孙刘病已进入了霍光的视野。
