唐朝的天下平定后，秦王李世民功名日盛，使太子李建成深深忌惮。于是李建成联合李元吉一起排挤李世民，两方人马明争暗斗，冲突愈演愈烈，迅速上升到彼此暗杀、毒害等手段。
在杨氏成为齐王妃几年之后，公元626年7月2日，李世民在宫城玄武门旁埋下伏兵，将李建成和李元吉一举射杀。之后李世民本着斩草除根的想法，将李元吉的五个儿子以及李建成的所有儿子们全部杀掉。
而李元吉被杀的5个儿子中，虽然史料上没有明确记载，但一定有齐王妃杨氏所生的儿子。
李元吉被杀之后，齐王妃和李元吉的其他几个姬妾还有李元吉的几个女儿一起，居住在后宫的一间拥挤狭小的宫室里面。
不久之后，齐王妃便得到李世民的宠幸。于是在很长一段时间内，齐王妃就这样和自己的杀子仇人姘居在了一起。
