对于李世民的这一举动，很多人都指责他是好色之徒。后宫已经有成百上千的美女了，还要霸占弟弟的妻子，而且弟弟还是他杀死的，简直"不可理喻"。但也有一些人从血统上论，说李世民一家本就是陇西鲜卑后裔，身上流着胡人的血，对于胡人那一套"收继婚制"很是熟悉。按照胡人的"收继婚制"，弟弟死了，哥哥娶弟弟的妻子很正常。但李世民这样做的原因，并不只是好色，而是出于政治上的考虑。
大家都知道，古代大家族之间的婚配，很多都是政治联姻，而李元吉的发妻杨氏就是隋朝观王杨雄的侄孙女。杨雄在隋朝建立后，与高颎、虞庆则、苏威并称"朝中四贵"，因为深得人心而受到隋文帝猜忌，被夺了兵权。但即使如此，他在朝中也有很强的人脉。而除了杨雄外，他的弟弟、子侄都在朝为官，可以说是满门显贵。对于李世民来说，他刚刚坐上皇位，急需拉拢各方势力。而将李元吉的妻子纳入后宫，就是他拉拢杨氏一族的重要手段。但令人遗憾的是，杨氏虽然为李世民生下了第十四子曹王李明，但却始终没有得到李世民后宫的承认，一直以情妇的身份与李世民姘居。
