杨氏有着截然不同的背景，她的家族和隋朝的杨雄一样。李元吉在玄武门政变中被杀后，李世民把她放在后宫里做了妾。据史料记载，武德九年玄武门更迭后，杨氏在中闱抚养李元吉的女儿。
目前还没有关于杨氏外貌的官方记录，但根据一些非官方的记录，她应该非常漂亮。据非官方史料记载，她父亲的侄孙昌宗年近20岁。他的五官非常漂亮，非常英俊。他的外表像一幅画，有当年杨氏的风范。这样的描写也显示出杨氏的出众外表。
当然，李世民之所以把杨氏带进宫为妃子，并不仅仅是因为她长得好看。从政治角度看，他娶杨氏更重要的考虑可能是争取到她身后的杨家。这种政治派别可以极大地稳定刚刚登基的年轻李世民的统治。
杨氏成为李世民的妾后，深受李世民的青睐。结果，齐王留下的几个女儿幸免于难。此外，她还为李世民生了一个儿子，在李世民众多子女中排名第14位。
