公元1074年，北方发生了一场大旱灾，饥民流离失所，百姓生活苦不堪言。为此神宗忧心忡忡，伤透了脑筋，在反对派的一再鼓吹下，于是他开始相信这些可能真的是上天的某种警告，并且反思自己继位以来所实行的一系列新法。监安上门郑侠，一直反对王安石的新法，趁这次大灾之际，向神宗呈上了一幅流民图，神宗顿时被图中所描绘的景象震动，那幅图画中百姓卖儿鬻女，流离失所的景象惨不忍睹。
年轻的神宗没有想到，他原本只是想通过变法，改善百姓的生活，好让他们可以安居乐业，但是变法的推行却起到了反面效果。第二天，他下令暂罢青苗、免役、方田、保甲等18项法令。虽然这些法令不久就在吕惠卿、邓绾等人的要求下渐渐恢复，但是，神宗和王安石之间的意见也开始有了分歧，产生了裂痕，君臣之间建立起的信任此刻受到了十分艰巨的考验。
反对派在神宗的行动中看到了推翻新法的大好良机，于是他们加大了对王安石和新法的抨击。在这种巨大的反对声浪之下，王安石终于如他们所愿，向神宗提出了辞呈。开始神宗不同意，虽然他们之间产生了裂痕，但毕竟是为同一个梦想奋斗过的良师益友。不料王安石执意要回家休养，神宗拗不过他，只得同意了王安石的请辞，但要求他推荐官员代替参知政事之职，王安石安排了韩绛和吕惠卿一同主持朝廷的事物。公元 1075年四月，王安石第一次辞去宰相之职，出知江宁府。
公元1076年2月，王安石奉命回京复职。此时将近而立之年的神宗，这位当初的少年天子，在将近10年的经历当中日趋成熟，对于变法，有了他自己更深刻的理解和打算，不再像之前一样，什么事都依靠王安石。于是君臣间的分歧也越来越大，改革的道路也走得更加困难了。
