起兵之后，李渊立即挥师南下剑指长安。此举，可谓战略意义高于一切。作为关中核心，掌握了这一要地，便可图谋''八百里秦川''。在当时，关中象征着丰饶与人口稠密。秦、汉、隋皆以此为霸业根本。立足咸阳，便有了足够的实力一统天下。为此，李渊决定赶在各路英雄之前立足咸阳。
但是，当唐军兵马来到咽喉要地霍邑（今霍州）时，却遇到了驻守该地的隋将宋老生的顽强阻击。又恰逢秋雨连绵，道路泥泞，后勤补给一时难以为继。面对刚一起兵就遇到这一硬仗，李渊一时拿捏不准。此时，就连拥护他起兵的裴寂都劝说李渊撤回太原。
面对这一抉择，李世民力主恶战拿下霍邑。根据他的分析，追随李渊起兵的义军将士，进可攻，而退则就只能散还家乡了。而且，在当时他就不加掩饰的说：''须先入咸阳,号令天下。''如果退守太原，在李世民看来就与一般的贼匪没有区别了。此时，便可以看出李世民身上放眼天下的帝王英姿。
为了在这一艰难抉择当中打动父亲，李世民甚至不惜哭谏李渊不要退兵。由此可见，他对于立下不世之功的坚持与渴望。幸好，李渊听进了李世民的建议：坚持进攻。就这样，唐军在八月三日攻下霍邑后，一路南下并于两个月后顺利包围大隋的核心--长安大兴城。起兵当年的十一月，唐军攻克大兴城，李渊得以自立为大丞相、唐王。次年三月，隋炀帝被宇文化及所弑。五月，李渊废杨侑自立为帝，改国号唐。
但是，建国之后的李唐并非得以坐镇长安而号令天下，而是实打实的打出江山。早在李渊攻入长安的第一个月，自命为秦王的薛举就派薛仁杲（gǎo）领兵攻李氏。在当时，占据陇西、天水、西平诸郡的薛举亦想图谋整个关中地区。所以，当李渊势力还没站稳脚跟的时候，便令自己的长子进攻长安。
