一直到后来，这个官职变成一种让人敬畏的符号，日后就算功劳再大，也不敢做尚书令，比如平定安史之乱的郭子仪，唐僖宗曾打算让他做尚书令，但他推辞了，还说："岂臣末职,敢乱大伦……"
郭子仪推辞尚书令的事迹，还被载入史册，可见当时尚书令无人敢做了，连郭子仪这样的大功臣都不敢做，谁敢做呢？久而久之，尚书令这个官职越来越变味了，他竟然成为谋反的象征了，谁想当尚书令，就代表他有谋反之心了。
到宋朝时期，尚书令这个官职仍旧存在，但已经完全沦为虚职了，到元朝也还有尚书令，不过没有实际意义，一般由皇太子兼任，到了明朝朱元璋建国，正式把尚书令这个官职给废除了，连宰相也废除，改为首辅了。
