靖康之役以后，在金国占领的北方和中原，虽然难觅南宋朝廷军队的身影，但是一直有多支民众自发组织的义军抵抗金国的侵略，红袄军是其中著名的一支，他们本身是帮助南宋来打击金国军队的，阻滞了金军的南下步伐。
但是相对于金国，南宋朝廷却更把这些起义军看做自己的心腹大患。当金军对南宋进逼的比较厉害的时候，南宋朝廷就利用这些起义军当做炮灰，给义军授予官号。但是一旦形势稍缓，南宋朝廷对归顺而来的义军就采用分化打击的策略，甚至直接出动国家军队，偷袭义军的后方。相比于金军，南宋政权更害怕起义军做大威胁自己的统治。
久而久之，北方和中原的义军、百姓，对南宋朝廷彻底失望，人心不在。
第二、南宋政权有负于归渡百姓
