李渊在隋炀帝即位后，先后被任命为荥阳、楼烦两个郡的太守，后来又被任命为殿内少监、卫尉少卿等职位。大业九年（613年），隋炀帝征讨高句丽的时候，李渊在怀远镇督运粮草。同年农历六月，杨玄感利用民怨民愤举兵反隋，李渊奉隋炀帝之命镇守弘化郡。在这期间，李渊树立威信、广交各路英豪，力量得到了扩充。
随着隋炀帝越来越残暴不仁，他的猜疑心也越来越重。有一次，李渊因病没能去参加朝会，隋炀帝便问李渊的外甥女王氏："你的舅舅怎么迟迟没到？"王氏回答说舅舅患病在家，隋炀帝竟然说："他病了？病得快要死了吗？"这口气仿佛在盼望李渊赶快死掉。李渊听说后，内心十分恐惧。因为那段时间民间正在盛传"李氏应为天子"，受到嫉妒心的驱使，隋炀帝开始对李姓家族发难，朝中的一位李姓大将军因为这个原因受到怀疑被满门抄斩。李密也是因为这个原因走投无路被逼去瓦岗寨起义。李渊为了自保，开始收受贿赂、沉迷酒色，使隋炀帝逐渐放松了警惕。
大业十一年（615年），李渊调任山西，到达龙门时，遇上了农民起义。李渊率兵击败了农民起义军，收编了数万余人，军力大增。第二年（616年），他升为右骁卫将军，在突厥侵犯边塞时，隋炀帝让他和王仁恭一同守卫边塞。
对于李渊来说，他不仅拥有超越旁人的军事实力和经济基础，还控制着山西中部的很大一片区域。但是，在群雄逐鹿中原的混乱形势下，他却没有马上采取行动。其实，李渊是一个深谋远虑并且野心勃勃的人，他早就对隋炀帝的暴虐统治心怀不满。当他在山西的前几年里，也就是农民起义刚刚开始爆发的时候，就开始产生了取而代之的想法。但是当时他还没有自己控制的地区和军事力量，所以不得不对隋炀帝谦卑顺从。当他成为晋阳的留守，拥有了自己的领地后，就如同雄鹰迎来了一阵好风，于是展开丰满的羽翼，凭借风力，准备一飞冲天。
