此时还未被消灭的宋朝残余势力则拥立了端宗赵昰、卫王赵昌仍然继续抵抗，新征服的地区也是烽烟四起。忽必烈意识到这个落难的少帝仍有可利用的价值，只有安置了他，让他作为幌子才能招徕那些尚未归附的南宋臣子们，于是他又封赵显为瀛国公，把赵显等人幽禁在高墙深宫之中。赵显是处处小心谨慎、苟且偷生，希望能免遭迫害。在他十二岁之时，忽必烈突然下诏，让赵显迁往上都，到僻远的蒙古腹地去。
据当时有位僧人告诉忽必烈，从星相上看土星犯晦帝星，必当会有人要危害皇帝，应该加以提防；又听说有人称要为被俘的丞相文天祥起兵。忽必烈预感到，赵显和文天祥对自己的统治确实是个威胁，所以在大都杀害了文天祥，并把赵显发落到上都。
原来忽必烈认为南宋已经灭亡了十二年之久，元朝在中原的统治也基本趋于稳定，赵显在政治上、军事上已都已无任何利用价值了，便准备让他出家当和尚，这也算是网开一面了。
可以肯定，在北京的幽禁生活必然是枯燥而单调。而在赵显被俘之后的历史记载又十分的少，只有些零零散散。据记载，1282年，赵显已经12岁，从北京被遣送到上都开平生活了6年。1288年，忽必烈"赐瀛国公赵显钞百锭"。
但忽必烈此时不打算再养着他们娘俩了，正谋划着给他们找个"有前途"的职业。十天后，决定出来了。"瀛国公赵显学佛法于土番"，其母全皇后被令出家为尼。一对母子都被元朝安排出家了，从此骨肉分离，天涯各自。
