此时，山西北部正好发生了一件大事。马邑郡（今山西朔州）的一个警备队长刘武周杀死其上司太守王仁恭并夺取了军政大权，他投靠了东突厥，获封"定杨可汗"，一时大隋边防吃紧。李渊趁机以对付叛贼刘武周为名在隋炀帝心腹的眼皮底下，理直气壮的将自己造反的兵力扩充到三万余人。
李渊事先周密策划，他让李建成在河东招揽英雄，让李世民在太原结交豪杰，派刘文静出使突厥达成友好协议。然后趁隋炀帝杨广留在太原的亲信王威和高君雅短暂离开的时机大肆招兵买马，当这二人回到太原后，很快就发现了李渊的造反意图，李渊以王威和高君雅勾结突厥人入寇太原的罪名，逮捕并处死了他们，正式起兵反隋。
当年十一月李渊率兵便攻取长安，他装模作样地遥尊隋炀帝为太上皇，然后扶立杨广的孙子杨侑为隋恭帝。?第二年，宇文化及带领部下造反，在江都杀死隋炀帝。隋炀帝一死，李渊就逼着隋恭帝退位，自己称帝，建立起中国史上最伟大的朝代--唐朝。
实事求是地说，唐高祖李渊或许是中国一切史书中最被贬低的一位开国君主，其声誉之所以蒙受损失，是因为事实上他的统治时期很短，而且是夹在中国历史上两个最突出的人物--大坏蛋隋炀帝和历史"完人"唐太宗的中间，或多或少被忽略。另外，他建立唐王朝的功绩被他的接班人--儿子李世民某种程度上精心地掩盖了。
据《大唐创业起居注》记载，太原起兵是李渊的主意。他起兵时，李世民还年幼，李世民和李渊其他几个儿子固然起了一定推动作用，但是据近年的考证，李渊还是起了决定性的作用。新旧唐书关于此事的记载主要突出"天可汗"李世民，新旧唐书有诸多矛盾之处，就可以看出其中的奥妙。
