后来，汉宣帝又将刘贺迁为海昏侯，把他从繁华的昌邑（现山东省巨野县，秦汉时期为中原军事重地）迁到偏僻荒蛮的豫章郡海昏县（今江西省南昌市新建区）就国。
要知道，在秦汉时期，江西和湖南都还是传说中的蛮荒之地，各种瘴气弥漫，毒蛇猛兽横行，生存条件可谓非常恶劣。
在这种背景下，刘贺的风湿病，自然会越来越严重，而他心中的苦闷和抑郁也自然会愈演愈烈。就在此时，刘贺又因为和原山阳郡太守的属官孙万世来往密切，两人之前还讨论过刘贺当皇帝的事情，甚至两人谈论时，还预言刘贺将来会到海昏县就国。
结果不久这个事情被人给揭发出来，刘贺因此被逮捕，好在汉宣帝最后只诏令削去刘贺三千户食邑作为惩罚。在这样一番打击之下，刘贺甚至连话都不敢再乱说，只能更加谨小慎微地行事。于是乎，这件事情过去后不久，刘贺就郁郁而终，享年33岁。
