但是，范仲淹并没有因为宋仁宗的提拔，就对仁宗唯唯诺诺。当宋仁宗因偏爱尚氏和杨氏准备废黜郭皇后时，范仲淹立即上奏说："郭皇后不能被废黜。"之后，他甚至带着御史中丞一起到垂拱殿门口，要皇帝接见他们，并阐述为什么皇后不能被废黜。
对此，宋仁宗非常生气，不仅没有接待他们，反而把范仲淹贬到了浙江。于是，士大夫们再次聚在一起为他饯行，并赞叹道："此次出行比上次还要光荣啊！"景佑二年，范仲淹任礼部尚书，判国子监。当时，吕夷简担任首相，在朝中培养亲信、拉帮结派，以此来维护他的个人权威。
而范仲淹最厌恨的就是用人不公，所以，他把一些高级官员的晋升情况制成《百官图》，并把它送给了宋仁宗。
之后，范仲淹指着上面列出的高级官员晋升顺序说："这个升迁，这个贬谪，这样才是公平公正。丞相为了一己之私，随意提拔官员，这不公平！"
