慢慢的霍光和桑弘羊之间开始了暗地里的斗争。霍光先是支持儒生与桑弘羊一派的大臣，开始了就经济政策进行的辩论，紧着表现了轮台诏前后的"霸道"与"王道"两种政策倾向的斗争。霍光这么做不是为了别的，就是为了跟桑弘羊较劲。其中的儒生，就是霍光对抗桑弘羊的工具，这也就是出名的盐铁之议。
后来虽然盐铁之议不了了之了，但是桑弘羊并没有就此善罢甘休，而是联合了燕王发动了政变，可惜的是最后的结果是被霍光一网打尽，一扫而空。至此之后，辅政大臣队伍之中功绩最高的桑弘羊就算是落幕了。随着桑弘羊的落幕，金日磾的早逝，车千秋软弱的性格，最后导致了霍光的独掌大权，从这之后，霍光开始了真正的掌权执政的日子，在朝堂上也没有了任何可以匹敌的敌人。
执掌大权之后的霍光有没有做出什么破坏皇权的事情呢？其实也有，霍光曾列举刘贺的罪状，废了刘贺的帝位。霍光会这么做的原因也很简单，就是因为刘贺继位期间任用的都是亲近的旧臣，对霍光的压制以及排斥都十分的明显。虽然霍光的确作为威胁皇权的事情，但是霍光有没有实力直接架空皇权，学习曹操或者董卓等人一样，直接任由自己为所欲为呢？
显然这对于霍光来说是不可能的，因为霍光在辅政之前并没有自己的班底，没有自己的势力，党羽。霍光所有的权力来源其实都是汉武帝的命令，有了汉武帝的命令，霍光执政才有了合法性和合理性，所以霍光当时无论再怎么强大，再怎么权势滔天，他都一直是以汉武帝的代理人的身份存在的。
