霍去病的死，汉武帝刘彻非常心痛，所以汉武帝也非常关照他的家人，其中最受益的就是他的弟弟霍光。汉武帝把霍光提上来，放在自己身边一二十年。霍光这个人也非常争气，他为人小心谨慎，做事情也非常认真，所以霍光得到汉武帝高度的信任。
汉武帝在病重之时，任命霍光为大司马兼大将军，同时接受遗诏还有其他三个人，但是以霍光为首，构成辅佐未来皇帝的托孤大臣。至此汉武帝去世，汉朝已经存在100年之久，官场里边的关系错综复杂，而霍光为人比较正直，多次权贵想通过霍光，在朝廷安插自己的势力，都被霍光拒绝，因此得罪了很多人的利益。
霍光得罪别人的利益，其中就有其他托孤大臣在内，于是这伙人就去向当时的皇帝汉昭帝，去诬告霍光叛乱，想让皇帝废了霍光。汉昭帝虽然当时只有12岁，但是一看就知道是假的，没有同意大臣门的要求，并警告了这些大臣。这次不成，这伙大臣就又生一计，打算把外王请进京，杀了霍光，同时废了汉昭帝。不料消息走漏，被霍光提前下了手，平息了这场政变。
后来汉昭帝去世，新上任的皇帝刘贺在位时，淫乱后宫，道德败坏。霍光又出面，让皇太后主持大局，废了刘贺，稳定朝政。霍光这是两次稳定汉朝的大局，功劳非常大。
