朱元璋建立明朝后，对于军队管理，开始下起了一番苦功。明朝以武力平定天下，不可避免的，会出现武将仗着功劳最大，飞扬跋扈的情况。而且，除了少数人，大部分武将都不会自我约束。
最典型的例子，就是开国将军蓝玉。他在自己家里很多庄奴，还认了很多干儿子，培植自己的私人势力，做了很多违反的事情。因为侵占民田，御史去责问时，蓝玉直接把御史逐出。
这种事情的发生，对于朱元璋来说，就是一声警钟。他必须设立一套制度，可以用来管理军队，约束武将的行为。在刘伯温的帮助下，朱元璋把全国的军队整编为卫所，从京城到地方，都设立卫所。
卫所中，士兵实行屯田自养的政策，从而为国家节省军费开支。在兵力配置上，朱元璋在京城地区，驻扎了六十万，其余地区分别驻扎一百五十万。也就是说，当时的兵力侧重京师。
为了防止军权过分集中在某位大臣手中，朱元璋又废除过去设立的大都督府，改设五军都督府。不过，五军都督府并没有掌握所有兵权。它们主要掌握军籍、训练和军政。
