汉昭帝仅在位十几年，就年纪轻轻的去世了。霍光和众臣推选昌邑王刘贺继位。然而刘贺的行径却让他们大跌眼镜，最后霍光无奈，废黜了刘贺。以臣废君，这是对封建礼法的极大挑战，后世对此褒贬不一。可以肯定的是，这完全是对国家的未来着想。
后来霍光又迎立了卫太子的孙子刘询继位，就是大名鼎鼎的汉宣帝。霍光本来要归政给汉宣帝，但有了前边废黜刘贺的前车之鉴，汉宣帝或许是畏惧他的权势，并没有接受他的请求。事实上，霍光自己也没有放弃朝政的主导权。汉宣帝想给岳父许广汉赐爵，就被霍光驳回了。直到汉宣帝继位四年后霍光去世，汉宣帝才真正掌握国政。
霍光被武帝任命辅政后，一直兢兢业业。他主政期间，两扶幼主，外御匈奴，休养生息国势蒸蒸日上，没有辜负武帝的重托。
历代辅政大臣，极少能善终的。张居正辅佐万历皇帝，推行新政，功绩不亚于霍光，却在死后被鞭尸。鳌拜辅政康熙，骄横跋扈，被康熙智擒治罪。诸葛亮虽然死后没被清算，但生前六出祁山，耗尽国力，直接导致了蜀汉"疲敝"而终。
