后来金灭辽，北宋趁机收复幽云十六州。这本来是宋朝改变幽云地区习俗，让幽云百姓对大宋重拾信心的大好机会。但是由于宋徽宗实在太昏庸了，彻底伤了汉人的心（塞外汉人逃到宋朝境内，金人向宋朝要人，宋朝直接就把人遣送回去了），因而幽云老百姓对宋朝皇帝气的是咬牙切齿。
事实上，在近代之前，中华先民并没有近代意义上的民族观念。对于中原的百姓来说，只要能安居乐业，给谁当百姓都是当。因此，随着南宋将中原割让给金朝，起初第一代宋朝遗民还能念着宋朝，但是，第二代汉人百姓开始，打小就在金朝统治下，并逐步开始认同金朝，支持金朝的朝廷。
