丞相为文官之首，负责天下的行政事务，太尉为武官之首，负责统领军队以及监察辅政，御史大夫则是负责监察百官。不过在秦朝的时候，存在丞相与御史大夫，但是通常却并不存在实际意义上的太尉，因为太尉掌握有兵权，足以对皇权构成威胁，所以通常由皇帝本人兼任。
西汉时期的太尉依然是掌管军队的最高武官，同时又与丞相与御史大夫共同分享行政权力，不过这个时候已经发生了一些变化，太尉的权力有时候可以很大，但有时候也会被皇权与相权所制约，所以实际权力并不确定，而等到东汉的时候，这一现象就更加明显了。
这个时候的太尉已经无法直接指挥军队，而是只能充当皇帝个人的最高军事指挥顾问，以及评定全国武官的功绩高下，具有一定的监督权。在公元前180年的时候，作为太尉的周勃要去平定"诸吕之乱"时，他也无法直接调用军队，而是只能假装有皇帝的命令，夺取了上将军吕产所控制的北军，才将包括吕产在内的诸吕给诛杀。
