西汉晚期，汉哀帝刘欣力行改革，哀帝改丞相为大司徒，并与大司马、大司空并列三公。东汉建立，光武帝刘秀废大字称号，而以司徒、司空、太尉位列三公，司徒依然为三公之首。不过，虽然司徒依然是挂名的宰相，但其的权利则被大大削弱。光武帝在朝廷上正式设立尚书台，且以尚书令为首，尚书仆射为副，只有加录尚书事头衔的官员才有资格议政论政。故而，一般东汉丞相的前面也都会加上录尚书事的头衔。
三国和两晋时期继续沿用了东汉的宰相制度，无论是魏国，还是西晋、东晋，丞相录尚书事皆为朝廷主宰。魏文帝曹丕在位时，丞相制度进一步得到了优化，都督中外诸军事、录尚书事也成为了尚书宰相的惯用头衔。两晋南北朝时期，由于尚书台的权利过于庞大，皇帝遂又设立了中书省和门下省分理尚书职权，于是，三省制度便因此而产生了。
三省官员皆被称为宰相，他们之间相互制约，进一步有利于皇帝的统治。唐朝建立后，尚书省、门下省、中书省成为定制，尚书省长官为尚书令，中书省为中书令，门下则为侍中。三省之中，以尚书省为主，门下、中书副职，故而，尚书省也成为了实际上的宰相首辅。唐高宗继在位时，尚书令被废除，尚书省实际行政长官成为了左右仆射，因而，左右仆射也成为了尚书省实际上的宰相。
和东汉的录尚书事头衔一样，唐朝也在尚书仆射的前面加上同中书门下的头衔。只有加上同中书门下头衔的官吏，才有资格论政议政。
