李渊称帝之后，疆土只限于关中和河东一带，还没有完全统治全国。当时，刘武周占据代北，薛举、薛仁杲父子占据陇右，王世充在洛阳称帝，窦建德在河北建号大夏，杜伏威在江淮为王，萧铣偏霸两湖。李渊面对的是一个群雄割据的复杂形势。因此，李渊派遣儿子李世民、李建成、李元吉出征，组织了消灭割据势力的统一战争，并着手镇压农民起义。李渊父子从武德元年（618年）开始攻打薛举，一直到武德七年（624年）征讨山东徐圆朗，历经了七年的征战，扫荡群雄，统一了全国。
隋末群雄割据图
武德元年，唐高祖李渊任命儿子李世民为元帅，攻打割据陇西地区的薛仁杲。李世民并没有直接进攻薛仁杲的城池，而是坚守在自己的大营里，任由薛仁杲手下的大将轮番挑战，他仍然没有出兵。李世民手下的将士们都疑惑不解，甚至有些人以为自己的元帅是因为胆小不敢应战，纷纷请求出战。李世民为了安定军心，出面解释说："我并没有畏惧敌人，而是想趁着敌人开始放松警惕时，我们再一战攻克他们。"就这样，双方僵持了几十天。薛仁杲的粮草所剩无几，很多将领前来投降于唐军。李世民见对方军心涣散，便派手下将领引诱敌军，等到敌人中计，耗尽水源时，他就率领兵马突袭，敌人仓皇应战，但是因为几天没喝水了，士兵们个个都疲惫不堪，很快就溃不成军，被唐军斩杀了几千人。李世民见现在势如破竹，便一举进攻薛仁杲的城池。唐军很快就包围了这里，守城士兵十分惧怕，纷纷爬出城墙投降，李世民得到了一万多的精兵，势力大增。薛仁杲见兵将们已经离他而去，伤心欲绝，也走出城门投降。
李渊在兼并了割地称雄的一些隋朝贵族后，又把矛头指向了农民起义军。其中，李密领导的瓦岗军是当时最强大的一支农民起义军队伍。武德元年（618年）十月，李渊热情地接纳了前来长安投奔自己的李密，以兄弟相称，并将自己的表妹嫁给了他。但是李密归顺大唐之后并不满足，觉得唐高祖李渊给自己的官职太小，于是产生了去河南寻找以前的部队，想重新发动兵变。李渊知道后派人寻找李密，李密知道大事不好，想要偷偷溜出城，却被李渊先发制人，派唐军将其围歼。
