但是南宋若迫于金国的压力遣返了归正人，则在"绝向化之心"的同时也会让这些历经险阻回归赵宋却又被抛弃的归正人对宋朝产生仇恨态度；南宋若坚决不肯遣返归正人，则又给觊觎南宋的金国以出兵的借口。
对此，"南宋四名臣"之一的胡铨曾经表达过自己的彷徨："凡归正之人一切遣还，如程师回、赵良嗣等聚族数百，几为萧墙忧。今必尽索归正之人，与之则反侧生变，不与则虏决不肯但已。夫反侧则肘腋之变深，虏决不肯但已，则必别起衅端，猝有逆亮之谋，不知何以待之。"
综上所述，我们可以得知南宋本意是非常愿意接纳并且优待南渡的北方遗民的，但是在特定的历史条件下（金国的压力、南宋经济上的困难），南宋也不得不痛心地对归正人执行过拒绝接纳甚至遣返北方的政策。
