他对霍光太缺乏认知了，霍光一人在政治水准上，丝毫不输当年平定诸吕之乱的周勃和陈平这对黄金搭档，而刘贺相比刘恒可差远了。
霍光已经开始行动了。
他先与心腹故吏大司农（九卿之一）田延年商议。
田延年拿出伊尹废太甲的例子来说服霍光废掉刘贺。其实，哪里需要劝呢，这本是霍光的目的，现在不过是在建立废帝同盟而已。
两人谈话后，霍光引田延年为给事中，跻身中朝，又与车骑将军张安世一起着手废除刘贺。
从霍光搞掉盖、燕谋反集团就能看出，霍光是个超级阴谋高手——他非常善于水下串联，而后雷霆一击。
对昌邑王，霍光依然是这种作风。
不过，光禄大夫夏侯胜突然冒出来掺了一脚，把霍光吓得不轻。
有一天，刘贺准备出去游玩，夏侯胜拦住车驾，对刘贺说：“天久阴不雨，预示着臣下有人阴谋图上，陛下现在要去哪？”
刘贺一听：“搞什么封建迷信？抓了！”
就这样，刘贺放弃了上天对他的暗示。
而另一头，负责抓捕夏侯胜的人，迅速把消息汇报给霍光，霍光没有处理夏侯胜，而是不动声色地把他放了。
但霍光回头就指责张安世：“你保密工作咋做的？”
张安世说：“我没有啊！”
于是二人一起找来夏侯胜，问夏侯胜到底咋回事？
夏侯胜说，《洪范传》里说了：“皇之不极，厥罚常阴，时则有下人伐上者。”
霍光、张安世大惊，都觉得熟读经书的人真不得了。
即便不是附会，根据常识判断，《洪范传》的相关描述也是片面经验性总结，这一次，也就是瞎猫碰上死耗子。
反正吧，按照史料记载，霍光废刘贺，有这么一出惊吓！
既然没有泄密，霍光、张安世就继续商定细节，商定后，霍光派田延年去通知丞相杨敞。
田延年来到杨敞家里，杨敞一听，汗流浃背，不知道该怎么办。
这时候，田延年好巧不巧，起身上厕所去了，就留杨敞一个人。
杨敞的妻子立即从东厢房向张敞喊话：“这是国家大事，大将军已经议定，现在让九卿来，是通知你，可不是跟你商量，君侯您不赶紧答应下来，与大将军协力同心，反而犹豫不决，你不要命了！”
杨敞还在那犯嘀咕，田延年已经泄洪回来了。
杨敞夫人一着急，自己就从东厢房跑出来，直接代替夫君跟田延年谈，最后三人达成共识——坚决支持大将军废刘贺！
