1127年初，开封城被金军攻破，宋徽宗、宋钦宗都成了金军俘虏，北宋灭亡。宗泽得知这个消息后，立即打算在金军班师回朝的途中进行阻截，夺回徽、钦二帝。可是宗泽的计划得不到赵构等人的支持，勤王兵马无一到达，阻截计划被迫终止。同年，赵构在南京应天府（今河南省商丘市）称帝，是为宋高宗。
在经过金军的大肆劫掠后，开封府已基本沦为一片废墟。但作为北宋国都，开封在宋人心目中的地位毋庸置疑。为了鼓舞士气，宋高宗任命宗泽为东京留守、知开封府，全权由他主持北方的抗金工作。不过，这份委任虽然听起来权限很高，但宋高宗却没有将自己身边的军队拨给宗泽指挥，而是让宗泽自行解决征兵问题。
北宋灭亡后，中原地区盗匪四起，其中几股势力特别大的盗匪团伙在短时间内就聚集了数十万人马。不过，盗匪虽然人数众多，但基本都是乌合之众，不仅人心涣散，而且内部矛盾重重。宗泽利用这一点来游说盗匪集团的首领，并晓之以家国大义，很快就将数十万兵马都收编至他的麾下。值得一提的是，当时由岳飞带领的半官方半民间武装力量也在这一时期投奔到宗泽军中。宗泽在此前已经认识岳飞，知道这是一个非常有才干的年轻人，因此对他委以重任。可以说在岳飞成长为一代"战神"的路上，宗泽发挥的作用至关重要。
