为了防止军权过分集中在某位大臣手中，朱元璋又废除过去设立的大都督府，改设五军都督府。不过，五军都督府并没有掌握所有兵权。它们主要掌握军籍、训练和军政。
至于军官的任免、升迁、军令调动等，则交给兵部负责。所以，明朝初年有一句话，叫做“兵部有出兵之令，而无统兵之权，五军有统兵之权，而无出兵之令。”
不过，兵部并没有权责过问五军都督府的事务。否则，视为违制。也就是说，在明朝初期，当时整个国家的最高军事指挥官是五军都督府最高长官左、右都督，以及兵部尚书。
在明朝初年那种崇尚武力的氛围中，五军都督府的最高长官左、右都督，级别都高于兵部尚书。左、右都督的官阶都为正一品，兵部尚书为正二品。
