在明初沿袭元朝的中书省，可谓是当时最高的民政机构，而大都督府负责当时全国的军政事物及其管辖所有军人，这两个机构在明初权力很大，再加上当时的监察机构御史台，甚至限制了皇帝的权力。
朱元璋为了集权，先是稳步发展皇帝直属的军队，太子朱标当时负责宫禁军队，而其他皇子则是陆续被封往全国的要害之地，在当地拥有很大的军政大权。
等到时机成熟以后，在洪武十三年，明太祖朱元璋以造反罪名，处死了丞相胡惟庸，并且罢了中书省，废除丞相制，由皇帝亲决国政。
中书省下设的吏部、户部、礼部、兵部、刑部、工部获得了独立地位，并且直接向皇帝负责。掌握全国兵权的大都督府被拆分为前、后、左、中、右五军都督府，也是直接向皇帝负责，同时一部分兵权被兵部所剥夺。
