王吉的意思，是让刘贺不要做太多事，只要日夜哭泣就可以了。刘贺从来不是一个昏君，以前只是假装昏聩，等到他登上皇位后，就准备削去霍光的权力。刘贺不顾汉昭帝刚刚去世，霍光大权独握，急匆匆的安插自己的人手。
在朝堂百官中，在京畿禁军中，刘贺都安插了自己的属臣，目的就是控制朝政。霍光一看，刘贺野心很大，想要削去自己的权力。在刘贺登基二十七天后，就以刘贺"干下一千多件坏事"为由，将刘贺废除。
王吉向刘贺进言
刘贺没有听从王吉的意见，最终操之过急，满盘皆输。刘贺被迫回到封地，再次当起了昌邑王，霍光迎奉了汉武帝曾孙刘病已为帝，史称"汉宣帝"。刘贺虽然被废，但是王吉的才华被看到了，从此留在西汉朝廷为官。
