起初，赵构对胖子更感兴趣，他给了瘦子一点钱，让他出宫。可是，赵构似乎又感觉，这样的观察有些太武断，他让两个小孩站立并仔细观察。突然，一只猫跑到了两个小孩跟前，胖子踢死了那只猫，而瘦子却没有动静。赵构认为，胖子脾气很暴躁，连一只猫都无法忍受，怎么能继承皇位治理江山？他就把瘦子留在了宫里。
这个瘦子就是后来的宋孝宗赵昚，但他进入宫中后并没有被确立为皇太子，因为赵构又从民间找到了一个太祖后代。而赵昚在当时还经常和秦桧闹矛盾，再加上宋高宗的母亲韦太后更喜欢另一个太祖后代，赵构对哪个皇子做继承人一时也拿不定主意。
韦太后去世后，赵构可以按照自己的意愿选接班人。他知道，昏君大都偏好女色而丢江山。要想知道谁能继承大统，赵构决定用美人计来考核接班人。
赵构赐给赵昚和另一个太祖后代各10个美女，让他们带回去。另一个太祖后代和10个美女很快陷入爱河，而赵昚却听从了老师史浩的建议，以正人君子的态度对待10个美女。过了一段时间，赵构将20个美女召回，他发现与赵昚相处的10个美女"毫发未损"，而和另一个太祖后代相处的10个美女却有了身孕。赵构终于下了决心，立赵昚为接班人。而赵昚就是宋太祖三子，"八贤王"赵德芳的直系后代。
1162年5月，赵构正式立赵昚为皇太子。同年6月，或许是感觉自己杀害岳飞而对江山愧疚太多，赵构很自觉的退位了。赵昚以太祖后代，赵构养子的身份继承大统。宋朝皇位在赵光义一脉掌权180多年后，终于回到了宋太祖后代的手里。
