李渊本是个出名的神射手，《旧唐书》记载北周大将窦毅觉得女儿才貌双全，不能轻易嫁给平庸之辈，而应该嫁给真正的贤士。于是他在屏风上画两只孔雀，让求婚的人各射两箭，他暗中规定谁能射中孔雀的双眼，就把女儿许配给谁。前去射箭比武的公子有几十人，都不合要求。后来唐高祖李渊射中了孔雀的眼睛，于是窦毅将女儿嫁给了李渊。这就是形容佳偶的人选的成语--雀屏之选的由来。他曾率十余骑从人和数千盗匪不期而遇，李渊临危不惧，连射七十余箭竟箭无虚发，中箭之敌皆应弦而倒，盗匪们心惊胆裂，大溃而逃。
大业九年（613年）春，隋炀帝征伐高句丽时，李渊在怀远镇督运粮草。同年农历六月，杨玄感利用民愤举兵反隋，李渊奉隋炀帝之命镇守弘化郡（今甘肃庆阳县），兼知关右诸军事。在此期间，李渊广交天下豪杰，遭到隋炀帝的猜疑。恰好有诏书命李渊去隋炀帝巡行所到之地，李渊因病没有去。当时李渊的外甥女王氏在后宫，隋炀帝问王氏："你的舅舅怎么迟迟不来？"王氏回答说李渊病了，隋炀帝又问："病的要死了吗？"李渊知道以后日益恐惧，因此无节制地饮酒、收受贿络自污以自保。
大业十一年（615年），李渊调任山西河东慰抚大使，到达龙门时，遇上了母端儿农民起义，李渊领兵击败了起义军，收编万余人，实力大增。又击绛州贼柴保昌，降其众数万人。第二年（616年），他升为右骁卫将军。突厥侵犯边塞，隋炀帝便让他和马邑郡守王仁恭一同北击突厥。但他们的兵马很少。李渊便选出擅长骑射的两千骑兵，吃住骑射仿效突厥兵，给突厥看他们闲暇时的射猎驰骋。李渊有另外挑选善于射箭的士兵作为埋伏。等和突厥兵遭遇时李渊便下令埋伏攻击，结果打败突厥。
