正是因为顾忌名声，所以李世民并没有杀掉弟媳杨氏，另一方面，杨氏的出身是弘农杨家，李世民不敢得罪这些世家大族，毕竟当年隋朝失天下就是因为失去了世家大族的支持，李世民自然不敢杀掉杨氏了。
弘农杨氏算是一个古老的世家大族了，最早可以追溯到西汉时期。西汉时期杨家就已经声名显赫了，也是出过丞相的，后来的东汉、西晋时期，杨氏一族的身份都是非常显赫的。
当时唐朝很多皇帝的妻妾都是来自世家大族，比如李世民的发妻长孙皇后，就是出自鲜卑族的大族。李渊妻子窦氏也是出自鲜卑族。李世民霸占弟媳杨氏，虽然让人不齿，但也是为了巩固自己的统治，为自己增添政治筹码，所以就将杨氏纳入了后宫之中。
