赵弘殷婚后投奔到赵王王镕麾下，因替王镕率军驰援后唐庄宗李存勖有功，被李存勖招至手下当一名裨校。从此以后，杜氏就开始了随夫东征西讨的军旅生活。一个养尊处优的美女，哪里经受得了这种颠沛流离之苦。她先后生下一儿一女，都因为忍饥挨饿，住无定所而中途夭折。直到十年后，夫君仕途有所发展，他们一家才算安定下来，杜氏在洛阳夹马营生下赵匡胤。两年后，在逡仪（今开封）生下赵光义。后来又生了两个儿子和一个女儿。
（宋太祖赵匡胤）
杜氏性格坚毅，治家极有礼法，夫妻相敬如宾，对孩子的训导也极为严格。赵匡胤从小好动，敢作敢为。杜氏虽对他很严，却也顺应他的天性发挥，鼓励他习武，动员他到部队去锻炼，要做就做大事。而赵光义嗜好读书，杜氏和赵弘殷尽力为他创造学习条件，赵光义后来确实学识渊博，精于谋略。兄弟俩合在一起就是文武双全。
五代十六国，是一个社会大动荡的时期，各地征战不已，朝代更替迅速。后晋取代后唐，又被后汉所灭。后汉仅存续五年，又被郭威消灭改为后周。赵弘殷跟着周太祖郭威荣升，成人之后的赵匡胤也跟着沾光，他受到郭威的赏识，被任命为东西班行首。世宗柴荣即位，赵匡胤屡建奇功，职位得到快速提升，被任命为定国军节度兼殿前都指挥使，成为后周最高军事将领之一。那时杜氏被封为南阳郡太夫人，已届54岁，同年，夫君赵弘殷去世。杜氏跟随儿子赵匡胤随军，一直在儿子身边担任最重要的参谋。几年后，赵匡胤发动"陈桥兵变"，"皇袍加身"，杜氏不仅是儿子最坚定的支持者，而且直接参与了政变的决策。
