隋朝时，中书令正式归入宰相一列，专门由皇帝亲信的大臣担任，协助皇帝处理军国大事。但隋朝中书令的官品仅仅为正三品，是一个权力大而品级低的职务。唐朝中叶，中书令官品调整为正二品。北宋时，将中书令提升为正一品，但属于虚职，只赠予亲王和年老有功的宰相。真正让中书令这个职务大放异彩是在元朝，中书令不但是名副其实的宰相，而且是首相，实际权力仅次于皇帝，皇帝不在位时，中书令可以代行皇帝职权。有鉴于元朝中书令位高权重，祸乱朝纲，明朝建立后，明太祖朱元璋虽然没有废除中书令一职，但刻意淡化了中书令的职权，使中书令虽有宰相之名，却没有宰相之实。至最后一任中书令胡惟庸被诛杀后，中书令一职被正式废黜，退出历史舞台。
从中书令的职权和官秩来看，设立的那一天开始就是朝廷重臣。能够位列丞相之上，这份荣耀按理也称得上光宗耀祖了。但是我们的太史公可不这么想。他认为汉武帝设立这么一个阉人才能担任的职务，是在侮辱自己的人格。我司马迁堂堂七尺男儿，才高八斗，学富五车，就因为帮李陵说了几句公道话就被处死，最后为了撰写《史记》，不得不以宫刑替代死刑。现在皇帝竟然把我当阉人看待，让我担任阉人才能担任的职务，我觉得丢人，我不想干。司马迁说到做到，多次上书辞中书令一职。汉武帝一开始还极力挽留，不批辞呈。后来被司马迁纠缠烦了，也就顺水推舟让太史公回家养老去了。但事实上汉武帝任命司马迁为中书令，还真没有侮辱他的意思。司马迁弃职后，接任中书令的人是酷吏张汤的儿子张安世。张安世辅佐汉昭帝刘弗陵一十三年，为官清正廉明，拜富平候。
