至正二十一年(1361年)，朱元璋于龙湾之战击败陈友谅后，废除了行枢密院，设立大都督府，以亲侄子朱文正为大都督，统领麾下将士。
罢枢密院，改置大都督府。以朱文正为大都督，节制中外诸军事，设司马、参军、经历、都事等官。
至正二十三年，在洪都之战中立下了大功的朱文正因不满朱元璋有功不赏而密谋发动叛乱，虽然朱元璋接到密报后及时处置了朱文正，但他还是决心消除大都督权势过重的隐患，所以他在大都督府增设了左、右都督。
大明建立以后，军权集中在大都督府的少数将领手中显然与朱元璋加强皇权的想法背道而驰，所以对大都督府进行分权就成了他的必然选择。
洪武十三年(1380年)，朱元璋分大都督府为中军、左军、右军、前军、后军五都督府，每府设左、右都督各一名，正一品。这样，五军都督府就继承了大都督府的最高军事指挥权，掌管着除亲军十二卫之外的所有卫所，但是却失去了调兵的权力。
