宋高宗还将北宋灭亡的责任推给王安石，"安石之学，杂以霸道，取商鞅富国强兵之说。今日之祸，人徒知蔡京、王黻之罪，而不知天下之乱，生于安石。"除了宋高宗外，理学家们对抨击王安石也可以说是"不遗余力"。原来王安石在世时，就与理学大家程颐、程颢兄弟针锋相对。
到了南宋，理学兴起，这些所谓的"理学名臣"自然要攻击王安石。比如说朱熹，就批评王安石，"汲汲以财利兵革为先务，引用奸邪，排摈忠直，躁迫强戾，使天下之人，嚣然丧其乐生之心。卒之群奸嗣虐，流毒四海，至于崇宁、宣和之际，而祸乱极矣。" 罗大经也认为，"国家一统之业，其合而遂裂者，王安石之罪也。"
北宋灭亡怪王安石，南宋偏安东南也怪王安石，在官方舆论的主导下，王安石的地位越来越低。宋理宗因尊崇理学，被后世称为"理学皇帝"，他于1241年下诏，将周敦颐、二程、朱熹从祀孔庙，同时将王安石的排位从孔庙中扔出来。宋理宗还指责道："王安石谓天变不足畏、神宗不足法、人言不足恤，此三语最为万世之罪人"。
这种看法一直到清朝时期，有人甚至将王安石与王莽、贾似道并列，说他们"力任为必可行，而皆以扰民致乱"。直到近代，随着思想的解放，人们才认识到王安石并不是"乱国奸臣"，而是一位伟大的改革家。那么是什么原因导致王安石被诟病呢？前面已经有所交代，其一是理学家们对王安石的攻击。
其二，王安石受到蔡京的连累。蔡京的弟弟蔡卞是王安石的女婿，蔡京在宋徽宗时期担任二十多年的宰相，打着王安石的旗号，进行所谓的改革，搞得天下大乱。所以在靖康末年，二程的弟子杨时就站出来，指责"京以继述神宗为名，实挟王安石以图身利，故推尊安石，加以王爵，配飨孔子庙庭。今日之祸，实安石有以启之"。
