宋室南渡时，原设在开封的大宗正司迁往广州，后移至临安。在临安的宗室，基本都被被赶去大都了。原设在洛阳的西外宗正司，移至扬州，再到泰州，建炎三年（1129年）移至福州。宋亡后，生活在这里的宗室散落于民间，很多隐姓埋名，直到明朝时才恢复"赵"姓。
比较悲惨的是从南京（现商丘）移至泉州的南外宗正司。建炎三年，移迁至泉州的宗室有339人，其中宗子122人、宗女126人、宗妇78人、所生母（妾）13人。到南宋末年时，这批人已经增加到了三千多人。泉州因此成为南宋最大的宗室聚居地，也成为事实上的宗室事务中心。
1276年（景炎元年）十一月，元军攻入福建，陈宜中、张世杰奉赵昰从福州入海南下，抵泉州南郊法石下辇村，希望移都泉州。但是被把守泉州的蒲寿庚拒于门外，缺少补给的宋军抢掠了蒲寿庚的二千艘货船后继续南撤。大怒的蒲寿庚在降元之后，于泉州城中发难，尽杀泉州的南外宗室三千多人。规模宏大的南外宗正司及睦宗院等建筑也被付之一炬。
这场屠杀之后，泉州的宗室后裔只余下八九支。幸存者逃至远郊邻县，四处避难。其中有一个宗室小官赵必晔，被泉州知州田真子派兵追捕，虽然杀了七个人，但还是被俘。抓回泉州正要被杀时，却被元军阻止，得以在泉州平安度过余生。
