汉宣帝当了皇帝以后，派了张敞等很多大臣去监督刘贺。当张敞把刘贺的日常作为报告给汉宣帝以后，《汉书》上是这样记载的："上由此知贺不足忌。"也就是说，汉宣帝认为刘贺昏庸无比，胸无大志，因此完全不值得提防。
但是，汉宣帝虽然是这么认为的，实际上他的做法刚好相反，他对刘贺非常提防，并且连续两次对刘贺进行了打击。哪两次呢？
第一次是当时刘贺被赶回昌邑，不过汉宣帝却不让他呆在家乡，把他迁徙到海昏这个地方，提拔他为海昏侯。表面上是升迁他为海昏侯，实际上是把他从自己的老巢赶走，不让他和家乡的人接触，实际上是把他隔绝起来。
第二次是刘贺到了海昏，汉宣帝依然继续派人监督刘贺。后来，汉宣帝听说，刘贺与人议论当初被赶出皇宫的时候。刘贺很后悔他当初没有当机立断拿下霍光。于是，汉宣帝以这件事为借口，削掉了刘贺的三千食邑。
