后来太子刘据被卷入巫蛊之乱，被迫自杀了，汉武帝也是垂垂老矣，眼见就要驾鹤西去，汉武帝左选右选把最小的刘弗陵立为了太子，然后任命霍光等人为辅政大臣，希望霍光能够效仿周公旦，在刘弗陵能够独立之后，就还政给他。安排好这些是之后，汉武帝就去世了。
霍光确实是有政治天分，在主少国疑的这个阶段，他把维持稳定放在了第一位，同其他的辅政大臣一起维持朝局稳定，并且平定了燕王刘旦的叛乱。很是受汉昭帝的信任，所以霍光得以在这段时间之内施行自己的政见，让天下休养生息。
后来汉昭帝去世后没有儿子，于是霍光便扶持汉武帝的儿子刘贺即位，但是仅仅二十七天霍光就以刘贺淫乱无道的理由废除了他。因为没有人可立，于是霍光从民间迎回汉武帝的曾孙刘询继任帝位，这边是汉宣帝。
汉宣帝即位之后，霍光表示要还政于汉宣帝，但是汉宣帝没有接受，因为汉宣帝仍然对霍光有所忌惮，不敢违逆，霍光的功高震主，也为后面全族被灭埋下了祸根。霍光活着的时候霍家风光一时，但是在霍光死后不久，霍家就被查出谋反，然后全族被灭，实在是令人唏嘘。
不过后来汉宣帝回忆起来辅政有功的大臣，于是命人画了十一副功臣之像，悬挂于麒麟阁，而霍光为其中之首，后来一直被汉朝历代皇帝所尊重，也算是名垂千古了。
