李敏的叔祖父李穆在隋文帝取代北周的过程中发挥了决定性的作用，被尊为隋朝第一开国功臣。李穆家族的传记在《隋书》中位居臣子列传首位，有资格持笏板上朝的家族成员就有一百多人。李渊家族是远远不及的。
在隋朝以前的南北朝时代，虽然皇帝更替频繁，但大部分皇帝都是被朝里的权臣取代的而不是被地方起兵推翻的。隋炀帝感受最深的北周取代西魏、隋朝取代北周都是朝中的权臣篡位。
正因如此，听说"李氏当有天下"的预言后，隋炀帝觉得是有个姓李的勋贵重臣会变成取代隋朝的权臣。在隋朝中央政治影响力极大的李敏家族当然就成了隋炀帝最先怀疑的对象，而当时在地方当官的李渊则逃过一劫。
