再说四皇子李元吉的老婆齐王妃杨氏。《控鹤监秘记》中记载：其从子昌宗，年近弱冠，玉貌雪肤，眉目如画，其风采绝类巢刺王妃。由此可见杨氏的美貌是无与伦比的，李世民把她收入后宫后，极为宠爱。但李世民之所以宠幸她，并不仅仅是因为她的美貌，更重要的是杨氏背后的家族身份。
《旧唐书》 中有详细的介绍："杨恭仁，本名纶，弘农华阴人，隋司空、观王雄之长子也……恭仁弟师道，尚桂阳公主，从侄女为巢剌王妃，弟子思敬，尚安平公主，连姻帝室，益见崇重。"直接点说，杨氏是隋观王杨雄侄孙女。
弘农杨氏也同样是名门望族，要知道，李唐所灭的隋朝江山就是杨姓，本是同族之人，可想而知杨氏家族的声望与地位，是一般家族无法比拟的。尤其在隋朝灭亡后，唐朝的"李武韦杨"四姓联姻政治集团中的杨姓中着重要的地位。
所以李世民宠爱齐王妃杨氏至极，以至于在长孙皇后去世后，唐太宗欲立杨氏为皇后，因魏征劝谏才作罢。《资治通鉴》有记载：明母杨氏，巢剌王之妃也，有宠于上;文德皇后之崩也，欲立为皇后。魏徵谏曰："陛下方比德唐、虞，奈何以辰嬴自累!"乃止。
这就是李世民不敢杀李建成、李元吉老婆，却为何敢霸占的原因。无论是郑观音还是杨氏，只要她们活着，李世民就是给足了这些重要势力面子，而这些家族的人，自然也会安心为他效力了。可以看出，李世民贪恋的不仅仅是美色，更看重的是美色后面的家族势力。
