如此一来，北方的北宋遗民已经不再是宋朝人了，也没有了南渡投奔新政府的权利，他们一旦渡过国境线，就会被视为叛逃，南宋必须将其遣返北国，任其处置。这样，不是北方汉人不爱国，而是国家抛弃了他们，他们无奈地成为南宋的敌人。试想，当张弘范在崖山之战取得胜利时，他心里是不是这么想的--我终于帮助大金皇帝复了亡国之仇！
第二，南宋政府也很无奈
另一个重要原因就是，南宋政府和百姓都不想接受北方遗民！首先，仅北宋首都汴京及其腹地就有多少百姓？他们拖家带口到了南方，衣食无着，甚至连自己的耕地都没有，谁来养活他们？亡国之初最先来到南方的北宋遗民，很大一部分都成为占据山头的流寇，甚至可以说中兴四将一生中的战争，大部分都是打击流寇，而不是对抗金军！如果要妥善处理这件事，就必须从早就定居南方的百姓腰包里掏钱甚至来一次土改，妥妥地会遭到所有老百姓的反对！这其实也是南宋百姓不愿意北伐的一个重要原因。
南宋政府对金国服软了，接受了"南自南，北自北"的条件，又没法拿出妥善的处理方法，我们今天看起来不可思议又充满屈辱的事情，就真的发生了。
