最后，几年之后，扬州刺史柯奏报刘贺与故太守卒史孙万世来往，孙万世问刘贺："从前被废时，为什么不坚守着不出宫并斩杀大将军，却听凭别人夺去天子玺印与绶带呢？"刘贺说："是的。错过了机会。"对此，在笔者看来，这并不是刘贺错过了机会。对于当时刚刚即位的刘贺，根本没有反击霍光的实力。在他之后即位的汉宣帝刘询，虽然是一代明君，却同样不敢和霍光正面想抗衡，而是等到霍光去世后，才清除了霍光家族的势力。
值得注意的是，孙万世又认为刘贺将在豫章就国，不会久为列侯。刘贺说："将会这样，但不是应该谈论的。"汉宣帝得知这一情况后，诏令削去刘贺三千户食邑，这让刘贺的待遇又下降一个档次了。神爵三年（前59年），封侯四年的刘贺去世。
初元三年（前46年），汉元帝刘奭又封刘贺的另一个儿子刘代宗为海昏侯，是为海昏釐侯，刘代宗传位给儿子海昏原侯刘保世，刘保世传位给儿子刘会邑。王莽在位时，海昏侯国被废除，刘保世被削藩贬为庶民。后来刘秀建立东汉王朝，恢复刘氏天下，刘会邑又被恢复为海昏侯。约到东汉永元十六年（公元104年），海昏侯国被分拆成建昌、海昏两个县。
