霍光服侍汉武帝刘彻二十多年，是武帝时期的重要谋臣，武帝死后，因接受托孤，霍光掌握了汉朝政府的最高权力。到霍光为止，霍氏家族仅在汉武帝时期就出了霍光和霍去病两位极负盛名的人物，而霍光更是成为站在权力顶峰的人物。汉昭帝期间，霍光凭着汉昭帝的信任粉碎了上官桀、燕王刘旦等人的夺权阴谋。此后，不但霍光权倾朝野，其家人纷纷在朝廷担任要职，霍氏势力达到高峰。
在民间时，汉宣帝刘询对霍光的权势和威风就有耳闻。尤其在他一夜之间由一个平民变成了至高无上的皇帝之后，更领教了霍光的权威。他一即位，就明显地感觉到了朝廷内部来自霍光集团咄咄逼人的政治压力，所以在他登基之日谒见"高庙"时，霍光陪同他乘车前往，他觉得浑身上下都不自在，如"芒刺在背"。有着丰富生活阅历的汉宣帝心里明白，自己初即位，力单势薄，仅凭着一个皇帝的称号是不能和羽翼丰满的霍光相抗衡的，只有保持最大的克制，逐渐发展自己的势力，寻求有利时机，才能夺回属于自己的最高统治权。所以在即位伊始，当霍光表示要还政于他时，汉宣帝回绝了，他明确表示非常信任霍光，欣赏霍光的才能。汉宣帝请霍光继续主持朝政，并当众宣布，事无大小，先报请霍光，然后再奏知他本人。事后他还专门下诏褒奖霍光的援立之功，益封七千户。每次上朝，汉宣帝都给予霍光以极高的礼遇。汉宣帝的这一系列行为对于消除霍光对他的猜忌和提防，缓和朝廷内部潜伏的政治危机，为他的统治创造一个良好政治气氛起到了极其明显的积极作用，最直接的结果就是免于变成"昌邑王第二"。
公元前68年，霍光因病去世。宣帝及皇太后亲自去霍光的灵前祭奠，并下令太中大夫任宣与侍御史五人奉命为霍光护丧；朝中俸禄在两千石以上的官员都要到霍光家中去祭拜。汉宣帝又赐给霍光大批锦缎、葬器，其中还包括做工精美的玉衣，还有梓宫、便房等，以极为奢华的方式安葬了霍光，并追谥他为宣成侯。在安葬完霍光后，汉宣帝加封霍光的侄子、霍去病的儿子霍山为平乐侯、奉车都尉领尚书事，下诏称赞霍光辅佐汉武帝、汉昭帝两位皇帝共四十多年，率领朝臣励精图治，使国家安定、社稷稳固，从而使天下百姓得以安享太平，并宣布霍光的后世子孙可以永远承袭他的爵位和封地。第二年夏天，宣帝加封岳父许广汉为平恩侯，同时，为了表达对霍光的感激，又加封了霍去病的孙子中郎将霍云为冠阳侯。汉宣帝的这一系列升官加爵的行为，让霍氏家族主要是霍光的老婆霍显产生了一个幻觉：即使是皇帝也要怕我们霍家三分。这也是导致后来霍家悲剧的最重要原因。《汉书·霍光传》中介绍霍光的老婆时，只提到了她的名字叫"显"，并没有提她的姓，因此也可以叫她霍显。
