这一贬，他就再也没有回到权力中枢。无论他在地方上如何努力，如何想方设法改变境遇，似乎都没人买他的账。
哲宗即位后，时任右司谏的苏辙，曾洋洋洒洒地痛斥了一番吕惠卿的人品。他说吕惠卿狡辩奸诈，诡变多端，利用了王安石"不知吏事"的弱点，在变法过程中，屡出阴谋，"以助其恶"。王安石得势时，吕惠卿视他如师如父，言听计从。王安石失势后，他又忘恩负义，反戈一击……像吕惠卿这种人，即使不正刑典，以示天下，也应"投畀到四裔之边，以御魑魅"。哲宗读罢奏章，深以为然，于是又将吕惠卿贬为建宁军节度副使，安置建州。
此后，吕惠卿彻底成了党争双方都不待见的人。纵使吕惠卿才能出众，勤奋能干，但是无论旧党得势，还是新党掌权，人人都害怕他再次倒戈，于是他的残生终于在四处流转中消逝。
据说王安石晚年在南京闲居时，常常自己在书房里写三个字："福建子"。一遍一遍，力透纸背。而这三个字所指的，正是他曾经最信任的战友吕惠卿。
