元朝的版图很大，这对统治者而言，是优势也是挑战。当时的蒙古人总共才三十万左右，绝大部分都是对外战争中对主力部队。而当发现这个国家不再需要征服而是需要管理的时候，这些人就遇到了困难。他们根本没有足够的人力资源去支撑一个庞大的政治系统，而又不敢把权力交给对他们尚有敌对情绪的异族人。而且复杂的政治系统对这个粗犷的草原民族来说，实在是麻烦。怎么办呢？只能精简机构。
于是忽必烈就干脆废除了三省六部，中央只设一个中书省。中书省的长官叫中书令，通常由皇太子兼任，但不负责具体事务，就是虚职。但中书令下面的左、右丞相有实权。地方设"行中书省"，中书省总理全国政务，逐渐形成了我们现在所熟知的元朝行省制。
行省制度是元朝的一大创举，加强了中央和地方的联系，因为元朝的行省不仅仅是地方行政机构，还是中书省的外派机构。也就是说，行省政府的财政支出，不是直接从地方纳税，而是由中书省统一拨款的。这样一来，就导致丞相的权力非常大，可以直接控制行省。到后期甚至丞相能决定由谁来继承皇位。
