而杨氏自幼笃信佛教，一心向佛，对婚姻大事并不上心，其家人也不急着将杨氏嫁出去，隋朝灭亡时，杨氏已有39岁，仍没有嫁人，其家人都认为她这一辈子就这样了，但由于家境富裕，杨氏衣食无忧，也没有多少可操劳的事情。
但杨氏碰上了武士彟，武士彟是个富商，曾资助李渊晋阳起兵，跟随李世民军平定长安，只是当时的社会格外重视出身，商人虽然富有，但地位低下，武士彟只是得到了"太原元谋功臣"的名号，并不能出仕。
武士彟因此再娶了已经44岁的杨氏，继而出仕唐朝，婚后，杨氏还生下了三个女儿，大女儿武顺嫁给了贺兰越石，婚后生有一儿一女，儿子是贺兰敏之；次女便是武则天，十四岁入宫成了李世民的才人；三女儿则是下嫁给了郭孝慎。
杨氏长寿，唐太宗刘世民去世后，其子李治即位，为唐高宗，彼时武则天与唐高宗陷入了热恋，虽然武则天被送至了长安感业寺，但李治入感业寺进香时，令武则天怀上了孩子，而唐高宗的王皇后不受宠，得知武则天和李治的关系后，还向李治提议将武则天接回宫，借此打击受宠的萧淑妃。
