建炎三年（1129年），金兵入侵淮南，宋高宗又跑到了临安（今杭州），并在此遇上了苗刘兵变。宋高宗被愤怒的军人赶下了台，幼子赵旉登上皇位。一个月后，勤王军攻入临安，宋高宗复位，赵旉被册立为皇太子，随后随宋高宗抵达建康（今南京）。
在南京，3岁的赵旉夭折，宋高宗哭得死去活来，原因很简单，他已经失去了生育能力。这还不是什么秘闻，三天后就有人上书进言宋高宗："择宗室之贤者，使视皇太子事俟。皇嗣之生，退居藩服。"
此时宋高宗才23岁，如果他生育能力正常的话，也没谁敢这么直白。事实的确如此，宋高宗追封赵旉为元懿太子后，再也没有生出一儿半女，不得不考虑选养子的事。
借口：太祖之后当有天下
《宋史·孝宗本纪》记载："及元懿太子薨，高宗未有后，而昭慈圣献皇后亦自江西还行在，后尝感异梦，密为高宗言之，高宗大寤。会右仆射范宗尹亦造膝以请，高宗曰：'太祖以神武定天下，子孙不得享之，遭时多艰，零落可悯。朕若不法仁宗，为天下计，何以慰在天之灵！'于是诏选太祖之后。"
