在四位辅政大臣之中，金日磾实际上是最没有威胁，且没有参与到日后权力斗争之中的，原因便是他在汉昭帝刘弗陵继位后的第二年，即前86年便因病去世了。再加上丞相田千秋不任事，朝政大权实际上就掌握在霍、桑、上官三人手中（以霍光为首），且三人还是儿女亲家，金日磾的次子金赏和上官桀的儿子上官安分别娶了霍光的两个女儿，然而这三人很快便起了矛盾。
首先是上官桀，在汉昭帝即位之后，他便利用职务之便大肆培植亲信，虽说霍光也干了此事，却并不像上官桀那样明目张胆，只要是姓上官的找到他，他都会去为其讨官。后来，霍光实在无法忍受，便拒绝了多次。这使得双方矛盾开始出现。
再后来，上官桀又想将上官安与霍光女儿的女儿，年仅六岁的上官氏送入宫中为皇后。在他看来，上官氏固然是自己的孙女，可毕竟也是霍光的外孙女，他总该同意吧。却没想到霍光却以上官氏太过年幼为由，再度予以拒绝。虽然上官桀最终通过盖长公主还是将上官氏送入宫中为后，但此事却使得霍光与上官桀彻底决裂。
再说桑弘羊，桑弘羊在汉武帝时期是主管财政的，在他看来，汉武帝所成就的伟业离不开自己的辅佐，再加上在资历、功劳等方面优于霍光，便想要获得更大的权力，因而与霍光开始争权，再加上为子弟谋官屡屡被霍光拒绝，以及双方政见上的矛盾，导致双方矛盾也逐渐激化。
