这种局面一直到了汉武帝时才有所变化：武帝初年，外戚田蚡为丞相，他凭借皇帝舅舅的身份不断扩大丞相的用人之权，引起汉武帝的不满。此后，为夺取丞相的权力，武帝以大司马、大将军参议机密大事，以分割丞相手中的权力。所以自武帝之后，丞相虽然名义上仍是百官之首，但实际权力已大大削弱。到了汉哀帝时，丞相更名为"大司徒"，地位在大司马之下，为第二位高官。
太尉亦承秦制，俸禄与丞相相同，"秩万石，金印紫绶"。但地位次于后者，为第二位的高官。职权为专管武（军）事，从制度上说，权力也很重。但由于当时丞相无所不统，武事亦在其职权范围内，因此在丞相权力最大的那段时期，太尉一职并不常设。一个很好的例证就是在汉武帝之前担任过太尉一职的，仅有卢绾、周勃、灌婴、周亚夫、田蚡五人。从汉初设太尉之职，到武帝建元二年废除，共六十七年，其中这五个人担任太尉的时间一共才二十二年，约为三分之一。
由此可见，太尉一职在当时并未成为常态。到汉成帝时，因外戚王莽以大司马之职不断扩充权力，以至代太尉掌管武事，并被授予银收官署，自此成为实职。后到哀帝一朝，王莽的权力达到顶峰，其所担任的大司马一职也位居大司徒（原丞相）之上，成为第一位的高官。
