霍光首先采取政治联姻的办法，与上官桀和金日單达成了利益同盟。后来金日單因为去世，霍光在政治上就少了一个劲敌。刚开始上官桀碍于和霍光是亲家的面子，不敢和霍光为敌，但是后来因为霍光的"专制朝事"时间，他就公开与霍光为敌，并想要发动政变。不料，被霍光先发制人，因为桑弘羊也参与到了上官桀发动政变的事件中，于是上官桀和桑弘羊被霍光一同铲除。
霍光觉得自己权震朝野，就不顾忌退休无实权的汉武帝，继续把持朝政架空刘弗陵。不过这是步险棋，弄不好霍光会落个夷灭三族，为什么这么说呢？汉武帝虽然退休不掌管朝政了，但是他的大臣还在朝，看到自己儿子这么受气，肯定他不能坐视不理，他会联合在朝的以前官员压制霍光。
