杨氏出生于达官显贵之家，父亲杨达是隋朝宗室子弟，曾担任隋朝宰相。伯父为隋朝观王杨雄。按说杨氏应该是贵族的女儿不愁嫁，何况她年轻时也姿色过人，家中来提亲的人想必踏破门槛，但可能杨氏的眼观极高，凡夫俗子看不上，直到四十多岁才看上唐朝开国功臣武士彠。
武士彠是木材商人出身，但他野心勃勃，老谋深算，且有识人之明，在隋末群雄中选中李渊，资助他举兵起义。唐朝建立后，武士彠因功被封为应国公，后担任工部尚书、荆州都督，颇有政声。武则天完美地继承了父亲的聪明与母亲的美貌，所以才能在后宫中脱颖而出。
武则天被立为皇后后，追封父亲武士彠为忠孝王，封母亲杨氏为荣国夫人。
