不过后来，他因为在江西的时候说了不该说的话，被人打了小报告，结果，被朝廷责怪，差一点就被依法查办了。不过，最后还是保住了性命和爵位，但作为惩罚，被削去了3000户食邑，只剩下1000户。
在众多史书中，对于刘贺的描述都是昏庸荒淫的形象，不仅如此，他还是个行为诡异，脑子进水的非正常人类。
但是，从他陵墓当中的陪葬品中来看，这个海昏侯确实是一个有品位，有生活情趣的人。之所以这么说，是因为其陪葬品当中，有很多自制的乐器，还有众多的屏风图像，以及与孔子相关的文字故事，竹简和木牍等近百个版本，这也证明了其爱好音乐的事实，也反映出了他的文化素养。
从这里，可以看出随葬品与史料中对于其本人的描述有些出入。
