然而谁也没有想到，在北宋和辽国亡国后，辽天祚帝竟和宋徽宗关在了一起！两人曾为宿敌，同为君主，却在此时共为阶下囚，不免让人叹息。据《大宋宣和遗事》所述：天祚帝在被金人严加看管之际，宋徽宗也被押送到了此处。二人相见后，万般愁绪涌上心头。宋徽宗言："我被金人从源昌州辗转了近5、6000里遣送而来，一路上妻子、儿女死伤甚重，没想到是这样的结局啊。"听闻此话，天祚帝也痛苦地将自己的经历诉与徽宗，二人顿时叹声一片。在看守人员的呵斥下，他们终止了谈话。并被金朝安置在一个屋子过夜，以待第二日聆听金朝圣谕。由于屋内看守严密，二人一夜无话。
第二日，金朝向他们宣读圣意，并将二人软禁在鸿翼府中。一日，天祚帝忽然拉着徽宗的手，暗中不知说了什么。惹得徽宗叹息道："皇天啊，皇天。"说到后半句却微不可闻，也并未记载。而这件事当下就被监管人员上奏，从此二人被分开。徽宗的后半句说了什么？却再也不知。
