桑弘羊对霍光也很不满，他在开边兴利方面很有建树，又同为武帝托孤之臣，但是霍光似乎对自己并不感冒，自己提出的任命自家子弟做官的要求，一次次被霍光拒绝，因此桑弘羊对霍光也怀恨在心；同样对霍光充满敌意还有燕王刘旦。他是汉昭帝刘弗陵的哥哥，因为没有继承帝位，因此对于汉昭帝心存怨恨；汉昭帝的姐姐鄂邑盖主本来从小把汉昭帝带大，两人关系十分亲近。但因为她寡居多年，为了寻找感情上的寄托，就养了一个男宠丁外人，并想为这个男宠谋求官职。但这样的要求被霍光拒绝了，因此鄂邑盖主也对霍光不满。
这四股势力联合在了一起，将矛头指向了霍光和汉昭帝。上官桀等人让人假冒燕王刘旦的使者，趁着霍光不在的时候，到汉昭帝面前告霍光的黑状。不了汉昭帝并不上当，还当众揭穿了上官桀等人的阴谋，这让上官桀一伙很恼火，于是一不做二不休，他们联合起来，准备有鄂邑盖主出面宴请霍光，并在酒宴上除掉霍光，然后废黜刘弗陵，改立燕王刘旦为皇帝。但这个阴谋被霍光提前识破了，于是上官桀、上官安、桑弘羊、丁外人被处死，鄂邑盖主、燕王刘旦也自杀身亡。至此，霍光把权力完全集中到了自己的手里。
霍光和刘弗陵之间，一直保持着相互信任的君臣关系，在上官桀等人诬告霍光时，刘弗陵就说：“大将军是先帝托孤的大臣，辅佐汉室绝无二心，你们不要诬陷大将军！”同样，霍光并没有因为刘弗陵是钩弋夫人之子，就对他心存怨恨，而是尽心尽力辅佐这位少年天子，孩子是无辜的，狠毒的是他的母亲钩弋夫人，刘弗陵并没有错。这十几年的日子是美好的，君臣齐心、天下安定、国力恢复，但在元平元年大汉又陷入了危机之中，这一年汉昭帝刘弗陵去世，没有子嗣的他并没有确定接班人。
三、废立有因，病已为君
汉武帝的儿子只剩下广陵王刘胥了，因此很多大臣都表示要立刘胥，但是这个刘胥劣迹斑斑，汉武帝在位时，就把他排除在了继承人的名单之外，这样的人恐怕不是仁君之选。但是霍光又不好说什么，恰好有一个郎官上了一份奏书：“当初文王立武王姬发而不立长子伯邑考，就是因为姬发贤能，因此废长立幼是可行的，广陵王不可以做天子！”这番话就和霍光自己说的一样，目的很明确，儿子里没有合适的人选，那就从小辈里选吧。至于是孙子辈还是曾孙子辈，立贤不立长为原则。
