公元581年，隋文帝杨坚接受北周皇帝的禅让，建立了隋朝。由于姻亲关系，李渊很是得隋文帝的重用，多次让他担任一些重要郡县的刺史。当时有个擅长算命的人在偶然看过李渊的面相之后，便觉得此人颇为不凡，将来一定能够建立一番伟业，希望他能爱护自己。李渊听了之后表面不以为然，内心却沾沾自喜。
在隋炀帝继承皇位之后，李渊荣宠依旧，也先后担任过荣阳等地区的太守，后来又被任命为卫尉少尉，由此积累了许多做官的经验。大业十一年，李渊调任山西河东慰抚大使一职，等到他就任之后不久便遇上了农民起义。在李渊的带领下，在极短的时间内便平定了起义军队。除此之外，他还将其降兵收编入军队，使得实力大增。
后来又再突厥侵犯隋朝边境之时，隋炀帝让他带兵前去抵抗。但由于李渊手中的兵力不如突厥，因此不能正面进攻，只得采取计谋逐个击破。李渊首先选出了擅长骑射的两千骑兵，在平时训练生活方面纷纷仿效突厥，给了突厥一个错觉，实际上却另外挑选善于射箭的士兵在旁边埋伏，等到突厥突然出兵之时，李渊便下令反击，就这样，以少胜多的打退了突厥的进攻。
