当初，赵伯玖和赵伯琮同为郡王，"礼制相等夷，号东、西府"，这期间发生了什么，让原本喜欢赵伯玖的宋高宗改变了主意呢？
《挥尘录》记载：宋高宗召两个养子谈话，在考虑立谁为继承人的时候，正巧有一只猫路过，赵伯琮专注于皇帝的问话，没有去看那只猫，而赵伯玖却一脚将猫踢出去老远。
宋高宗对赵伯玖开始反感，认为这孩子轻佻而狂妄，不适合做储君，此后转而中意瘦一点的养子赵伯琮。
为了进一步考验两个养子，宋高宗竟别出心裁，分别给两个养子各赏赐十个美丽的处女。
过了一段时间后，宋高宗命宫人查验，结果，赐给赵伯玖的十个美女已然不是处子之身，而赐给赵伯琮的十个美女依然是处女。
