赵与莒是赵匡胤的儿子赵徳昭的十世孙。在南宋王朝中，自从南宋第二位皇帝宋孝宗 赵昚（shèn，1127年11月27日―1194年6月28日）始就一直是由赵匡胤一系的子孙来继承皇位的。
赵与莒的父亲赵希瓐在世的时候，没有任何的爵位，只当过一个九品的小官。后来赵与莒的父亲赵希瓐因病去世后，生活变得非常困难，母亲只好带着他和弟弟赵与芮回到了娘家。虽然名义上他们也算是皇族，但实际上和普通的百姓并没有什么区别。
好在当时赵与莒的外公是当地的保长，保长也就是我们现在的村长级别，所以兄弟二人的日子过得也还算可以。
但是让人没想到的是，因为一场大雨，却改变了赵与莒的命运！
当时，雨下的很大，然后这个保长家里就来了两个避雨的客人，这其中的一位来头可不小，是当朝丞相史弥远的幕僚，这可是相当于宰相的参谋长级别的人物，他的名字叫做余天锡。然后保长就赶紧杀鸡宰羊，特别热情地招待了他们，这个时候余天锡发现了住在保长家的赵与莒和赵与芮兄弟二人。
