这五个人分为内臣和外朝两派，其中内臣以霍光为首，外臣则以车千秋为首。而五个人当中桑弘羊虽有兴利之功但却身居末位，显出汉武帝似乎有意压制五人之中功劳最高的桑弘羊，使车千秋与桑弘羊互相牵制。
虽然汉武帝有意打压桑弘羊，但是他终究等闲之辈，跟燕王刘旦和左将军太仆上官桀联合起兵造反，但是计划泄露，上官桀和桑弘羊被灭族。加上金日磾早亡，车千秋为人软弱，至此霍光彻底掌握了朝堂的权柄。
到了汉宣帝时期，霍光权势达到了巅峰。但是他也老了，最后走向了死亡。霍光去世后，汉宣帝刘病已立刻对霍家动手，自知在劫难逃的霍氏一族决定起兵造反，兵败过后，霍氏一族被全灭。
