而霍光因为为人聪明好学，很快就表现出做官的能力，再加上哥哥霍去病的原因！得到了汉武帝的重用，公元前87年，汉武帝驾崩，临终指定霍光等人为汉昭帝的顾命大臣。霍光辅助朝政，权势日盛。汉昭帝短命没当几年皇帝就驾崩了，此时大权在握的霍光提出立汉武帝的孙子昌邑王刘贺为皇帝。历史事实证明，霍光看走了眼，刘贺根本就是一个庸才，皇帝当了27天，坏事做尽。
于是，霍光上奏上官太后废黜刘贺，改立汉武帝曾孙刘病已为皇帝，是为汉宣帝。霍光身为人臣却先后拥立两个皇帝，废掉一个皇帝，后世把他与商代的伊尹并称为"伊霍"。
汉宣帝刘病已是一个好皇帝，对于霍光独揽大权也是敢怒不敢言，在他心里时刻都想剥夺了霍光的权利。虽然终其一生汉宣帝都没能拿霍光怎么地，但霍光死后事情却来一个大转弯。公元前68年，霍光刚刚死后没多久，汉宣帝开始了清算霍家一脉。首先是有人告发霍光老婆毒死汉宣帝许皇后，接着有人上奏说霍光曾经密谋造反。
