实际上，霍光最初立刘贺的用意，一是要断绝广陵王刘胥的称帝之路，二是希望刘贺能俯首称臣，以便于自己专擅朝政。然而刘贺继位后的做法，让他的希望全部落空，他发现刘贺根本就不是自己需要的人。
刘贺不仅将自己人安插到朝堂中，并且以求通过改变节信的颜色，来收回霍光的兵权。
节信是代表皇帝授权传令的一种物品，汉朝节信本来就是纯赤色的，汉武帝时卫太子作乱，汉武帝因为卫太子手中持有节信，所以把节信上是旄改成黄的的，使卫太子手中持有的节信失效。而刘贺把信节的旄改成黄色的，其目就是在于通过改变调兵符信，收回霍氏独掌的调兵权。
这件事，让政治嗅觉格外灵敏、心腹遍布朝野的霍光知晓，刘贺不愿意做一个傀儡皇帝，他想要掌握实权。这违背了霍光立刘贺的初衷。也正因如此，霍光留不下他。正所谓："成也萧何，败也萧何"霍光既然能把刘贺扶上位，自然也能将他拉下马。
