过去中国的官制，有"内朝"和"外朝"的分别。内朝是由皇帝领导的，外朝由宰相领导。宰相跟皇帝之间，有着非常特殊的关系。因为权力的关系，所以他们既是搭档，也容易产生矛盾。如果皇帝想要削弱宰相的权力，往往会提拔扩充内朝。汉武帝就曾从民间提拔过很多儒士担任自己的侍从。他们可以给皇帝讲学，也可以给皇帝一些建议，说一些民间的真实情况。
翰林学士的产生，也是来源于此。翰林学士的起源，可以追述到唐朝初年李世民时期。当年李世民还是秦王的时候，就曾设下文学馆，招揽天下俊才为自己所用。这些人对他帮助极大，从打天下到玄武门之变，都是很好的帮手。后来当上皇帝后，李世民继续招揽那些有才学的人，留在自己身边。
这种做法，一直被后来的皇帝延续下来。他们属于皇帝身边的御用文人，被称为翰林侍诏，负责给皇帝讲学，供皇帝文娱消遣，提供一些建议，偶尔负责起草一些不重要的诏书。而翰林学士正式的产生，则是在唐玄宗时期。唐玄宗将过去的翰林侍诏与翰林学士区分开来，专门修建了翰林学士院。
