因为宋高宗没有子嗣，在皇位继承人上他只能从宗室中选择。当时舆论普遍认为，宋朝要重新振兴，必须把皇位传给宋太祖那一支的后人。于是，宋高宗就做了决定：当年宋太祖将皇位传给弟弟，如今朕要把皇位传给太祖的后人。这样，赵伯琮(即后来的赵昚)和赵伯玖被宋高宗收为养子，放在宫中抚养。
赵伯琮和赵伯玖都是自幼进宫，在宫中接受严苛的教育，但太子只有一个，这俩人之间还需要一较高下。但他们在宫中养了近20年，太子之位还迟迟没有定下来。当时，高宗以及高宗的生母韦太后都比较喜欢赵伯玖，不太喜欢赵伯琮。但一次偶然的事件，让高宗对赵伯琮另眼相看。
事情的经过是这样的：有一次，宋高宗同时召见赵伯琮和赵伯玖两人，在宋高宗训话的时候，突然从外面闯进一只大肥猫，宋高宗的训话被这只大肥猫打断，于是就留神看这两个孩子的表现：赵伯琮一直专心致志地听宋高宗讲话，根本没有理睬那只大肥猫。而赵伯玖看到那只猫后，就再也无心听宋高宗训话，还用脚去踢那只大肥猫。这一反差让宋高宗在皇位继承人上有了主意。
绍兴三十一年(1161年)9月，金国再次南下进犯，受到南宋的抵抗后，金国退去。但此时，宋高宗一直奉行的求和政策受到了军民的一致声讨，迫于压力，宋高宗终于将皇位让了出来，赵伯琮才算正式登上了龙椅。
宋高宗精心选出来的宋孝宗果然不负众望，他牢记宋高宗的禅让之恩，对宋高宗极尽孝道。孝宗朝是南宋国力最强的时候，宋高宗安逸地当了25年的太上皇，寿终正寝，享年81岁。后世有人这样评价赵构，说宋高宗一辈子唯有选太子一事最为公允。
