对于刚坐稳江山的朱元璋而言，如何管理军队，统治天下，成了一个要紧的问题。明朝以武力奠定基业，军队出力极大。可是，打天下跟治天下不同。军队在大多数时候，必须退居二线。
为了解决这些问题，明朝初年的时候，军队被频繁地整顿。整个编制也进行了大幅度调动。整个过程耗费十几年时间，才有一套较为完整可行的军事编制，被推广到全国。
这套编制只有一个目的，方便管理。从朝廷中枢到地方郡县，明朝设立了不同级别的管辖结构。在朝廷中枢，设立了五军都督府和兵部，专门负责调度。这可以让皇帝更好地掌握军权。地方上，省一级的，设立都指挥使司。这是明朝地方最高级别的机构，全国只设立16个。
这层机构位于中间，起到一个中间调度的作用。跟军区很相似。它可以协调一大片地区的军务，统一管理。同时，它必须听朝廷命令办事。
对于地方军务，都指挥使司有很高的处置权。其中包括练兵、漕运、屯田，巡抚、以及军队内的刑狱等。这些事务都很重要。
