到了东汉的时候，尚书令甚至一度成为朝廷中最为重要的职位，朝廷中的大事全部是由尚书令来处理，即使司徒、司空、太尉，这三个职位的地位很高，但是却面对尚书令却只能甘居下位，并不能行使职权。
后来到了南北朝，也就是司徒、司空、太尉，这三个职位不再设置，中书令、侍中结合成为一个可以代替宰相的一个体系，每一个职位的权利以及责任的设置也更加的规范化，在隋文帝建立隋朝后，他便建立了三省六部制，全部取消三师和三公的职位的权利。
到了唐朝选择了继续沿袭隋朝的制度，但是虽然隋朝的时候把三省的领导都身为丞相，但是到了唐朝他们成了不同品级。首先尚书令为正二品，其他两个都是正三品，并且尚书令这个职责还要负责统领六部以及监督政令的执行。所以，他的权利比其他三省的长官要大的多，在唐高祖为帝的时候，李世民便一直是在尚书令的职位上，也就是朝廷管理百官的首领，因此也为他将来夺取皇位之路奠下了基础。李世民登上皇位之后，便结合自己的经历，开始对尚书令进行权力的分散以及限制，从此取消尚书令的大部分实权，甚至分立了两人作为尚书省的长官。
