当时情况挺危险，民间出现"李氏当为天子"的寓言，右骁卫大将军李浑就是因为隋炀帝的猜忌惨遭灭门之祸。李渊自少年时代骑射功夫出众，以两千骑兵对阵当时最强悍的突厥也毫无逊色；李渊个性豪爽，史载他"倜傥豁达，任性真率，宽仁容众，无贵贱咸得其欢心"，结交天下豪杰自是一呼百应。李渊自污名声，让隋炀帝安心了，还安排他任太原留守。太原是李渊帝业的起点，当时有人劝他："你手握五郡之兵，身处四面应战之地，起兵举事则可成帝业，端坐不则之日可亡。"
李渊是个沉得住气的人，自杨玄感骑兵之后，天下烽烟尽起。连他治下的校尉刘武周都据马邑自称皇帝，但是他长时间隐忍不发，等待最佳的时机。门阀士族出身的李渊，是相当有眼力劲的。他不出手则已，一出手就狠准稳，拿下隋帝国政治中枢长安。在隋末各路反王中，李渊是起兵最晚，但是笑到最后的那个人。
大业十三年（617年）五月，李渊斩杀太原郡丞王威、副手高君雅起兵，两个月后李渊率军三万誓师，以"废昏立明，拥立代王，匡复隋室"的名义正式起兵直趋关中。这充分体现了李渊的战略格局，他知道要取天下必定立足根本，而关中就是大隋的命脉。同年是十一月，李渊攻入长安，遥尊隋炀帝为太上皇，拥立其孙代王杨侑为帝。第二年，隋炀帝在江都被禁军将领兵变杀死，李渊这才登基称帝，国号大唐定都长安。
