朱元璋在登基之初，仿照元制，设立中书省，统辖六部，中书省丞相统领百官，而且在地方上设立行中书省，主管省内的行政，当时中书省的权力很大，中书省的第一任左丞相是追随朱元璋多年的李善长。
不过，即使是在明朝建立之初，朱元璋也是有意限制中书省权力的，默许大臣越过中书省上呈密疏。
元朝有这样的规定：民不得越过中书省上奏。明朝洪武三年（公元1370年）十二月，儒士严礼在论述治国之道时提起这条规定，遭到朱元璋的严厉驳斥：严礼所说的不得越过中书省上奏，是元制的一大弊端；君主不能亲自处理政务，致使大臣擅权专横；现在是创业初期，正是需要把下面的情况有效传递到上面的时候，怎么可以效仿元制？（《明太祖实录》）
为削弱中书省的权力，朱元璋通过采取一系列措施，改革各级机构，使各机构间相互牵制，逐步加强皇权。
可见，在胡惟庸案发生后不久，朱元璋便下令废除丞相制，并非一时冲动，而是筹谋已久。
