到了宋朝统治时期，调兵权和统兵权更加细化。宋朝的将领们，虽然能够管理军队，但为了防止将领培育私人势力，因此连驻军也是需要轮换的。所以说，宋朝的军队出现了"兵不识将，将不识兵"的尴尬情况，对于战斗力的发挥非常不利。一转眼到了元朝统治的末期，当时在元朝的南方地区，出现了一系列的起义政权，例如朱元璋、陈友谅、张士诚、明玉珍等等。
这些政权割据一方，相互混战，同时又与元朝作战。朱元璋控制了江苏、安徽和江西的大部分地区，由于这些地区比较富庶，朱元璋拥有了各方面的优势。公元1361年，只有30多岁的朱元璋进位吴国公，同时开始开衙建府，册封了一系列的官员。从那个时候开始，出现了大都督府。大都督府的当家人就是大都督，大都督的实际权力非常大，因为同时拥有调兵权和统兵权，等于唐宋两朝努力分化的调兵、统兵两大权力，被再次合并。
对于大都督的权里范围，历史文献中有明确的记载："节制中外诸军事。"当然，由于大都督这个官职过于重要，朱元璋一般挑选自己的绝对亲信担任，第一任大都督是朱元璋的侄子朱文正。随着实力的逐步扩大，朱元璋的地位也越来越高，从吴国公晋升为吴王，然后晋升为大明朝皇帝。但大都督府一直存在，并且属于明朝建立初期权力最大的机构之一。
