韦太后回来的第二年，金国有意让宋钦宗和他的妃子回归，金国也有谋划，宋钦宗回归就是要和赵构抢皇位，产生内斗，有利于金国攻占南宋；同时还可以收到不少的赎金和领土，毕竟是一个宋朝的皇帝和妃子。
赵构眼光也非常毒，一眼看穿金国的图谋，对接回宋钦宗置之不理。其实赵构在徽钦二帝眼中就是一个送死的棋子，先后两次送入金军，侥幸逃生，对他们也有怨恨。高宗退位，宋孝宗即位。金国威胁南宋的政治筹码--宋钦宗、他的妃子、子女的利用价值大减，宋孝宗是赵匡胤一支，被俘的宋钦宗是宋太宗赵光义一支。
另外宋高宗赵构虽然很长寿，但是他一生中仅仅生育过一个儿子，那就是元懿太子赵旉。赵旉在著名的"苗刘兵变"中曾经被叛将拥立，当了一个月的皇帝，但是没过多久他就不幸夭折了，当时年仅两岁多。由于种种原因而失去生育能力的宋高宗赵构自此就算是绝后了。所以他只能收养义子来充当南宋的皇位继承人。
按照正常情况来说，赵构挑选养子肯定是首选与自己血缘关系最近的人，但是大家知道，"靖康之变"北宋亡国之后，宋朝绝大部分的皇室宗亲都被金国俘虏北上，宋徽宗所有儿子中只有赵构一人侥幸逃脱，宋钦宗的子嗣则全部被俘，其余幸免于难的则基本上都与赵构的关系很疏远（比如嗣濮王赵允让一支）。
