吕惠卿的做派遭到了很多人的反对。对于这些人，吕惠卿以各种理由将他们贬官流放，其中就包括王安石的弟弟王安国。王安石由此与吕惠卿结下矛盾。而此时，吕惠卿担心王安石一旦回朝将会威胁他的地位，便开始不遗余力地构陷王安石。先是上书弹劾，接着曝光和王安石的私人信件，"凡可以害安石者无所不用其智"，甚至公然诽谤王安石"尽弃所学，崇尚权谋，违背诏令，欺骗和要挟君主……"
吕惠卿如此落井下石，让改革派傻眼，也让守旧派目瞪口呆。
王安石罢相时推荐的宰相韩绛已经hold不住吕惠卿了，便悄悄劝皇帝调王安石回来。很快，王安石便回京复位。
刚回来时，两人还相安无事地度过了一段时间。但是不久，宋神宗想要提拔王安石的儿子王雱（pāng）为龙图阁直学士，或许出于礼仪，王雱先是推辞了一番，不料吕惠卿极力劝服神宗接受王雱的辞呈。此事令王安石和吕惠卿的矛盾再次加深。
后来，因为吕惠卿不断遭到各方弹劾和举报，终于在1075年十月被贬出京城，出任陈州知州。
