李渊的担忧并非杞人忧天，自从杨玄感起兵后，隋炀帝更加疑神疑鬼，总觉得关陇子弟都要背叛他。
一次隋炀帝召见李渊，恰好李渊生病不能进谏，隋炀帝便问："李渊得了什么病，能死吗？"，李渊听闻后吓了一身冷汗，原来隋炀帝一直盼着自己死。
不久《桃李子歌》也传到了隋炀帝耳中，隋炀帝大怒派人彻查此事，正好此时李金才得罪了隋炀帝身边的大红人宇文述，在宇文述的挑拨之下，隋炀帝认为李金才是名应图谶者，李敏因为与李金才过于亲密也受到牵连，于是隋炀帝以谋反罪将李敏和李金才等三十几人处死，其家人被流放岭南。
虽然这次李渊侥幸逃过一劫，但李敏和李金才死后，当时李姓的三大家族只剩下李渊一家，这使得李渊更加惶恐不安。杨玄感、李敏和李金才的死让他渐渐明白，隋炀帝不会放过关陇贵族集团的核心子弟。如果他不反抗，他将会是第二个李金才，他不能任人宰割，于是李渊下定决心反隋，但是在时机尚未成熟之时，他不能轻举妄动。
