刘弗陵死后,群臣建议立广陵王刘胥为帝,但是因为刘胥已成年,霍光担心压制不住他,反而拥立了年轻的昌邑王刘贺,但很快霍光就发现,刘贺不仅荒唐,而且也不愿听他的话,于是他又让已经做了太后的外甥女上官氏,废了刘贺,刘贺只做了27天皇帝。
废了刘贺以后,长于民间的皇曾孙刘病已,又走进了霍光的视线里,他觉得刘病已生于民间,也没有什么势力,不担心压不住他,也能够保住自己的权力,于是用力了刘病已做皇帝,是为汉宣帝。
刘病已刚坐上皇帝位子没多久,霍光就急忙忙的想把女儿霍成君立为汉宣帝的皇后,刘病已深知自己实力不够,不敢贺霍光硬碰硬,于是借着寻找故剑的方式,委婉的拒绝这件事。霍光只好作罢。
但是在政权上,霍光还是牢牢把控着,他在朝堂上故意做出还政于帝的姿态,汉宣帝坚决辞让,说国家大事还是得经过霍光之手,令霍光非常安心。汉宣帝之所以不愿意接受政权,是因为他深知根基未稳的自己根本没有实力与霍光抵抗,否则他将会是第二个刘贺。