然而宋仁宗的子嗣问题很不幸，他一生有十六个儿女，却只存活下来五个，三个儿子全部夭折：
景佑四年（1037年），俞德妃为二十七岁的宋仁宗诞下皇长子赵昉。很显然，宋仁宗期盼儿子已经很久，出生之前就早早地起好了名字。然而不幸的是，这个孩子出生当天就夭折了。宝元二年（1039年），宋仁宗最宠爱的妃嫔之一苗贵妃，继前一年生下皇长女福康公主后，再次为宋仁宗生下第二个儿子赵昕。被宋仁宗小心呵护的赵昕，也仅仅只活了两年。
庆历元年（1041年），就在赵昕夭折的当年，朱才人又为宋仁宗生下皇三子赵曦。同样，这个孩子也没活过两岁，在宋仁宗悲痛的心情中离世。皇三子赵曦出生时宋仁宗三十一岁，在此后的二十多年里，宋仁宗生了很多女儿，竟然再也没有一个儿子。
宋仁宗的第一个孩子出生时，也已经二十七岁了，这个年龄，作为皇帝来说，显然太晚了。所以在此之前，大臣们都高度怀疑宋仁宗不育，于是一个劲怂恿他领养宗室子，册立为皇嗣。
