看起来两位女子的地位显赫，然而这不过是李世民对她们的安抚而已。在前期李世民宠爱的是长孙皇后，后期是徐惠，在史书上并没有对韦氏姐妹过多的宠爱记载。不光如此，李世民恐怕对韦氏姐妹的出身，还是心有芥蒂的，在《魏郑公谏录》中曾经记载过他所说的一段话：
>太宗谓侍臣曰："汉代常以八月选洛阳中子女资色端丽者，载还后宫，此不可为法。然即日宫内，甚多配役之口，使其诞乳诸王，是非所宜。据此论选补宫列，理宜依礼。"
这个意思是，唐太宗李世民认为汉朝在民间选取美丽女子入后宫，本来是不可取的，但现在他自己的宫中女子，多是有过之人的后代，让她们来生育皇子，玷污了血脉了纯洁，不是很恰当。因此目前按照汉朝的规矩去办，还是可以的。"配役之口"这四个字，恐怕就是用来形容韦氏姐妹的尴尬身份。
