之后，他毅然辞去了中央部委的舒服工作，立志要到最艰苦的地方去磨炼自己。由于老爹当过宰相，人脉很旺，他担心别人说他是因为父亲的关系才平步青云，直到1052年范仲淹去世，范纯仁又守丧三年，才正式踏入仕途。
范纯仁初任汝州襄城任知县时，襄城百姓的生活很苦。他经过考察发现这个地方适宜种桑养蚕，而丝绸的价格又越来越贵，于是他发动大家在汝河岸边和岗坡上种植桑树，充分利用闲置土地。这样，当地的经济很快就发展起来了，老百姓对他十分感激。
1062年，范纯仁被举荐当了开封府襄邑（今属河南商丘）知县。这个地方离京城很近，境内有专为皇帝卫士牧马而设的牧地，管辖权归中央所有。一天，范县长接到百姓举报，说有卫士牧马时践踏良田。范县长立即将这名卫士抓起来处以杖刑。卫士的主管领导上奏朝廷，要办范纯仁一个越权之罪。范县长毫不畏惧，给仁宗上书："养兵的费用出自民田，卫士牧马而侵食民田，县令职在养民，我若坐视不管，还要县令何用！"仁宗一想范纯仁说得有理，很虚心地接受了批评，还下诏此后牧地划归属地管理。
经过多年地方行政的历练，范纯仁一步步成熟起来。1065年六月，有"皇帝耳目"之称的御史台台谏一职空缺，亲政不久的英宗出于对范纯仁的赏识和信任，亲自提名他担任御史，专门负责给领导提意见。
