汉宣帝即位后，内心忌惮刘贺，毕竟自己刚刚即位，朝廷大权还被霍光掌握。所以，对于这位曾经当过皇帝的叔父，汉宣帝刘询还是不太放心，担心其卷土重来。元康三年（前63年）三月，汉宣帝下诏说："曾闻舜弟象有罪，舜为帝后封他于有鼻之国。骨肉之亲明而不绝，现封故昌邑王刘贺为海昏侯，食邑四千户。侍中、卫尉金安上上书说："刘贺是上天抛弃的人，陛下至仁，又封他为列侯。刘贺是个愚顽废弃之人，不应该奉行祭祀宗庙及入朝朝见天子之礼。"奏折得到汉宣帝批准。
四月壬子日，刘贺前往其封地海昏就国（海昏为豫章郡下辖之县）。由此，非常明显的是，刘贺不仅失去了皇帝的宝座，更连原本的王爵都没有保住，现在被贬低为了一个侯爵。虽然在汉朝时期，侯爵已经是较高的待遇了，比如名将李广到死都没有封侯。但是，刘贺的情况，显然和李广不一样，从王爵贬低到了侯爵，这让刘贺彻底失去了东山再起的可能。
四
