汉武帝在公元前87年去世之前，托孤于霍光、上官桀、金日磾、桑弘羊等人，八岁的刘弗陵（汉武帝第六子）即位，是为汉昭帝。公元前80年，上官桀等人与燕王刘旦联合，企图发动政变夺取皇位，被霍光铲除。霍光在此之后，大权独揽，皇帝成为傀儡。公元前74年，年仅二十一岁的汉昭帝因"病"去世，由于汉昭帝的婚姻受霍光控制，只有一个皇后上官氏，是霍光的外甥女，不能纳妃，而上官氏在昭帝去世之时只有十五岁，昭帝无后。之后霍光扶立了汉武帝第五子刘髆的儿子刘贺为帝，刘贺当了二十七天皇帝，被霍光废除。之后霍光又扶立汉武帝曾孙、戾太子刘据之孙刘病已为帝，是为汉宣帝。汉宣帝即位之时十七周岁，已娶妻生子。霍光向汉宣帝表示要归政于他，汉宣帝不敢接受，继续委政于霍光，霍光继续把持朝政，群臣有事先请示霍光，霍光再上报给汉宣帝。
影视剧中汉宣帝
霍光不只把持朝政，还一如既往的要操纵汉宣帝的婚姻，以保持其外戚身份。他要求汉宣帝立其幼女霍成君为皇后，但汉宣帝不愿意，他想让他贫贱时的妻子许平君为皇后。于是宣帝下了其即位以来的第一道诏书，说他贫贱时有一把剑陪伴左右，现在想把其找回来，让群臣为自己找回。群臣领会其意，纷纷上书请求立许平君为皇后。霍光也没办去强求，于是宣帝立许平君为皇后，但他与许平君所生之子刘奭并没有被立为皇太子，怕霍光反对。霍光想让汉宣帝与他的小女儿霍成君生个儿子，然后把霍成君的儿子立为皇太子。公元前71年，许平君再次怀孕，霍光的妻子霍显，利用女医官淳于衍在许平君要生产之时将其毒死，并许淳于衍以富贵。皇后被毒死，汉宣帝下令审问医官，众医官全被捕。霍显怕事情暴露，将自己派人害死许平君的事告诉了霍光，霍光听后半天说不出话来，最后向汉宣帝上书，请汉宣帝不要审问淳于衍。一个小小的医官，权倾朝野的霍光专门去保，汉宣帝其实一下子就明白是怎么回事了，但他只能强忍悲痛，现在还不是发作的时候，现在发作，失去性命的有可能是自己。次年，霍成君被立为皇后，迫于霍光掌握朝中实权，汉宣帝装作对霍成君很好，但霍成君也没有为汉宣帝生下子女。
