吕好问表示，康王妃邢秉懿并没有死，还活在人间，只不过被俘虏到了金国。但正因为如此，就更应该立邢秉懿为皇后。一来可以鼓舞士气，展现皇帝收复故土的决心，便于聚拢人心。二来也可以表示皇帝不忘旧情，树立有情有义的完美形象。
对于这个无法拒绝的理由，宋高宗只能选择答应，他遥封邢秉懿为皇后，封潘氏为贤妃。这样一来，潘氏到手的皇后之位，却成为了煮熟的鸭子。不过，她当时一定也不会灰心绝望，毕竟她生下了儿子赵旉。这也是宋高宗唯一的儿子，宋高宗因为逃难受惊，已经失去了生育能力，当时的人就认为，这也就是宋高宗的独苗。所以，潘氏只要静待时机，甚至安心等着儿子长大，就能够上演母以子贵的翻盘好戏。
不过，命运却为难了赵构，也为难了潘氏。在东躲西藏被追杀的岁月中，不仅让宋高宗身心俱疲，也让作为婴儿的赵旉受了惊吓，身体一直不好。后来，因为一个宫人将地上的香炉踢翻，竟然将这个三岁的皇太子吓死了。
对于宋高宗和潘氏来说，这无异于晴天霹雳。但是，生活还要继续，帝国依然需要继承人，宋高宗强忍着悲痛决定，从宗室中选择赵伯琮作为养子。
当时，宋高宗的后宫中，除了潘贤妃有名分之外，还有张婕妤和吴才人。为了不厚此薄彼，他让这三位女子坐好，让年仅六岁的赵伯琮自己挑选养母。
