隋文帝驾崩之后，李氏家族失去了大靠山。隋炀帝虽然是李渊和李氏的表兄弟，但是对李渊并不友好。隋炀帝曾经当面称呼李渊为"阿婆面"，让李渊饱受屈辱。有一次，隋炀帝召见李渊，李渊抱病请假。隋炀帝就问李渊的外甥女王氏说："你舅舅的病，会不会死人啊？"（时甥王氏在后宫，帝问曰："汝舅何迟？"王氏以疾对，帝曰："可得死否？"）
《旧唐书.高祖本纪》里的高祖外甥女王氏，就是李氏的女儿王氏。说到这里，大家也许奇怪了。隋炀帝和李氏是表兄妹关系，怎么可以娶她的女儿进宫呢？这种事情，在隋唐时期非常常见，倒也不足为奇。从这件事情来看，李氏嫁给王裕之后，生了个女儿，还进宫当了嫔妃。
隋朝末年，天下大乱，李氏和丈夫寓居黎阳。当时的黎阳，是瓦岗军李密的地盘。李密出身关陇贵族集团，所以也没有为难同样出身关陇贵族集团的李氏。到了李渊起兵的时候，李密和李渊是同盟关系。李密和李渊都想当同盟老大，所以他们是面和心不和的玻璃兄弟。玻璃同盟也是同盟，所以李氏还是没有受到李密的威胁。
