扬州刺史监视刘贺
豫章郡归属扬州刺史管辖，刘贺迁徙到豫章海昏县后，生活依然平静，但汉宣帝仍未放松对他的监视。过了几年，扬州刺史柯向汉宣帝打小报告，说刘贺与前太守的卒史孙万世往来密切。而刘贺也对当初被废黜时没有及时反抗的事情有些后悔。
孙万世说："皇上给您增加了食邑，不会让你长期列侯的，您应该会被封为豫章王。"刘贺说："应该是这样子，但不应该说出来。"也许酒后之胡言，说者无意，听者有心，扬州刺史柯又将这话向汉宣帝报告。于是汉宣帝下令将其削邑三千户。
这也说明，汉宣帝从未对其放松警惕。而刘贺却以为经过一次迁徙降爵之后，自身的安全得到了提升。因此又开门纳客，胡言乱语，以致祸从口出。而这时，汉宣帝终于找到了一个合适的理由，一下子削减其食邑三千户。于是，刘贺抑郁而终。
