但是宋高宗并没有这样做，其一在于如果通过谈判召回侄子的话，那么问题来了，那么徽、钦二帝，还有宋高宗其他兄弟，是不是也可以通过谈判召回呢，如果召回了，对自己威胁也很大，不说徽、钦二帝，身为宋徽宗第九子，宋高宗随便召回一两个哥哥，对自己也不是什么好事，毕竟自己能继承皇位，并没有徽、宗二帝同意，而是通过当时皇族中地位最尊贵的哲宗废后元佑皇后之名继承皇位的，等于缺乏正统性支持，如果召回了不再谈判召回其他宗室子弟，也会引起非议的，所以干脆别开这个口子。
其二在于依次寻找近支宗室子弟，那么养子往往不会发自内心感激宋高宗，会认为自己的皇位不是宋高宗个人给予的，而是按照宗法关系理所应当的成为皇位继承人的。
而选择按理说没继承权的太祖后人的话，不仅可以亲自确认其人品，而且选择余地大，像宋高宗不只是宋孝宗一个养子，还有一个养子，共有两个养子，并且可以得到其发自内心的感激。
事实证明宋高宗此举，不只是赢得了极大的声誉，还得以安享晚年，宋孝宗可谓是历史上有名的模范孝顺皇帝，继位以后，对于宋高宗这个太上皇，是相当的孝顺，很好地处理了彼此之间的关系，相处得相当融洽，宋高宗做了二十多年太上皇，最后以81岁高龄逝世，相比他的父亲宋徽宗和哥哥宋钦宗的凄凉晚景，他的晚年是相当幸福安适的。
