尚书令一职始设于秦朝，主要负责管理少府文书和传达命令，西汉沿置。到汉武帝时期，为限制相权，用尚书令处理天下奏章，逐渐使其成为处理中央政务的主要机构。东汉时期，尚书令的职权更重，朝廷政事一以委之，而三公（司徒、司空、太尉）虽然地位尊崇，但已沦落为"坐而论道"的角色，不再承担具体实权。
魏晋南北朝时期，三公官不常置，而尚书令遂与中书监（令）、侍中成为实际上的宰相职务，其部门职权与属员设置也更加明确化、规范化。隋朝建立后，正式建立三省六部制的体系架构，并明确规定三省长官同为宰相，而先前的三师（太师、太傅、太保）、三公完全变成荣誉虚衔。
唐朝建立后，沿袭隋制，不过三省长官虽然同为宰相，但品级和权力却并不相同，其中尚书令为正二品，侍中与中书令则为正三品。而且尚书令统领六部，负责政令的执行，权力较之侍中、中书令是相当的大。唐高祖在位期间，秦王李世民一直担任天策上将、尚书令职务，成为文武百官之首，并由此走上政变夺权之路。李世民称帝后，意在集中皇权、限制相权，便将位高权重的尚书令一职闲置不设，而以其属官左、右仆射作为尚书省的长官。
唐太宗对尚书令一职的处置，被后世帝王沿袭为惯例，等到了唐玄宗时期，甚至将左、右仆射的职权也架空起来。不过对唐朝闲置尚书令一事，传统的说法认为由于太宗昔日做过此官，所以后世人臣便不敢再出任此官，绝大多数人，即使功劳再高、能力再大，对于这个职务也都是唯恐避之不及。比如在平定安史之乱中立有奇功的郭子仪，便以太宗曾任此官为由，坚决推辞尚书令一职，以至于代宗皇帝感慨之余，还将此事载入国史。
