曹魏中书省的设置与东汉时期的尚书权限紧密相连。从东汉初年起，光武帝为了削弱相权，极大地提升了尚书台的地位：
"及光武亲总吏职，权归尚书，三公但受成事而已--《尚书都省》"
在东汉朝廷的行政机构中，尚书台的职权在三公之上。尚书令成为代替丞相的重臣已经入主中枢，这种通过强化尚书台的权力来削弱相权的方式一直延续到东汉末年。
曹操在建安十八年建立魏国官制，"初置尚书、侍中、六卿"，以"荀攸为尚书令，凉茂为仆射，毛玠、崔琰、常林、徐奕、何夔为尚书，王粲、杜袭、卫觊、和洽为侍中"。尚书令依旧是曹魏建国时的显要官职，也是曹操"挟天子以令诸侯"实现的关键职位。
