李渊以征讨刘武周为借口大张旗鼓招兵买马，短短几日之内就招募到几千士兵，公元617年五月十五日，李渊设计杀害了王威和高君雅。
此后李渊派自己的儿子李建成到河东交朋结友，李世民则到太原城内拉拢豪杰，召女婿柴绍至太原商议大事。
除了李渊的儿子们很给力以外，他的女儿平阳公主也是女中豪杰，柴绍走后，平阳公主独自离开长安到鄠县招兵买马，还招降了鄠县附近的一支由何潘仁领导的起义军，兵力多达几万人，同时她还派人四处联络拉拢豪强，最后平阳公主佣兵多达七万人。
李渊了解突厥就跟当年的匈奴人一样，南下犯边为的是钱财，并不是土地，为了消除后方的威胁，李密亲笔写了一封信给突厥始毕可汗，表示只要拿下长安，金银珠宝都给他。始毕可汗大喜过望，答应与李渊结盟。
突厥问题解决后，剩下最难啃的一块骨头，那就是佣兵数十万的瓦岗军，李渊以下级对待上级的口吻给李密写了一封信："天下大乱，群雄并起，这普天之下唯有你才是天下之主。"李密自从夺取瓦岗大权后，内心开始膨胀，当他看到李渊的来信时，更加自傲，他对手下人说："李渊已经不跟我们争天下了，这天下以后就是咱们的了。"
李密剧照
李渊暂时向李密低头，无非想利用李密帮他牵制洛阳的隋朝重兵，让他毫无后顾之忧西取关中，后来李密与王世充、宇文化及在洛阳互相攻伐，三败俱伤，李渊可谓是渔翁得利。
一切安排妥当后，李密留下儿子李元吉镇守太原，防止窦建德、刘武周乘虚而入，随后李渊率领三万多唐军踏上了西征之路。
大败宋老生，攻克霍邑城
李渊为了避免树大招风，并没有直接举起反隋大旗，而是打着"废昏立明，拥立代王杨侑，匡复隋室"的旗号。代王杨侑可不是草包，他了解李渊尊自己为皇帝只不过是障眼法，于是他让宋老生率领两万精兵镇守太原前往长安的必经之路霍邑(今山西霍县)，大将军屈突通镇守河东郡，如此以来可以对唐军形成掎角之势。
当唐军行至距离霍邑五十余里地的贾胡堡时，恰逢连日大雨，唐军粮草告急，此时远处传来刘武周准备攻打太原的消息，李渊听后心急如焚便开会商讨此事，裴寂等人建议回援太原，等后方稳固后，再做定论，而李世民、李建成却坚决反对，他们还说："雨停就进军，如果不提宋老生的首级来见，我们以死死谢罪。"
