在达到预期的效果后，随之走第二步，趁马邑人刘武周杀太守王仁恭，自称天子，联合突厥，率众前来进攻太原之机，再次伪造隋炀帝让他自行募兵的诏令，顺利地募到了数量可观的兵员。
然而，太原的最高领导层并非铁板一块。副留守王威、高君雅二人仍在效忠隋朝，他俩看出李渊行将谋反的行迹后，准备采取突然袭击，速捕李渊。李渊得到情报，让刘文静等人捏造出王、高二人"勾结刘武周与突厥"的罪行，先行将他们处死。当刘武周和突厥的军队兵临城下，李渊打开太原所有的城门，以疑兵之计将来犯之敌吓得不战而撤。
尽管李渊具有一定的实力，然为了不至于分兵作战，或腹背受敌，他采纳了刘文静之计，化不利因素为有利因素，暂向突厥始毕可汗称臣妥协。同年六月，李渊正式竖起举兵的旗帜。然为了不授其他群雄以口实，在刘文静和裴寂的策划下，他决定只先废除人心失尽的隋炀帝的帝号，改立据守长安的代王杨侑为帝，以维持旧政权的形式来开出新局面。
与此同时，他开置大将军府，自任大将军，裴寂为长史，刘文静为司马，下设左右三军：李建成为左领大都督，统左三军；李世民为右领大都督，统右三军。在出兵之前，大开粮仓，赈济穷困，贏得远近一片欢呼声。
进入炎炎的七月，李渊以四子李元吉为太原留守；命刘文静出使突厥，请求军事支援；自率大军三万从太原出发,走对角线向关中挺进。
