虽然北宋从第二代传至宋太宗赵宽义一脉，但南宋第二代又转至赵匡胤一脉，这或许是冥冥中自有定数。宋高宗唯一的儿子早夭，因为自己之前受到金兵南侵的惊吓导致不举，所以自此不能生育。
公元1132年，时年25岁的宋高宗开始择选太子人选，选定宋太祖后裔6岁的赵伯琮。宋高宗将其改名为赵昚，收养在宫中，也就是后来的宋孝宗。宋孝宗赵昚十分孝顺，时常送高宗回宮，被雨淋的满头都是，让高宗感动。
公元1162年，宋高宗决定退位做太上皇，时年55岁。继位后的宋孝宗一直对高宗感激不已，经常亲自去看望高宗。高宗让他不必时常来看望他，要以国事为重。每年到了高宗的生日，孝宗肯定会划拨巨款给高宗，让他过个舒坦开心的生日宴。其实这并不是宫中规矩，但是孝宗每年都如此，让高宗习以为然。
