后来上官桀设计弹劾霍光，企图用关系网忽悠年仅14岁的汉昭帝和霍光反目，从而擒杀霍光。不过汉昭帝虽年幼，却识大体，知道霍光是一个正直的忠臣，所以严厉拒绝了，还公然宣称谁要是再敢诽谤霍光就直接处死。
后来上官桀等人谋反，被霍光打败，汉昭帝更加信赖霍家，霍光得到了更大的权力，权倾朝野，继续辅佐刘氏皇族，国内发展得非常好。
好景不长，汉昭帝在21岁时驾崩，事出突然，汉武帝之孙刘贺被迎上王位。本来是打算继续辅佐新君治理国家，没想到这刘贺却是个不求上进之辈，只知道享乐。
霍光觉得不妥，也很生气，一怒之下便和皇太后商量，后来果断将这位新皇帝给废了。刘贺继位才21天，就被流放到了地方，做了海昏侯。
