当时李勣正统领着瓦岗寨剩余的地盘和人马，他没有直接向李渊请降，而是让李密献上去，自己仍然以李密部下的身份归顺。李渊对此非常感动，除了赏给他良田大宅外，还赐了李姓。
窦建德兴起后，大败李唐方面的淮阳王李神通，李勣因为父亲被俘，不得不向窦建德投降。但李勣没有真心归降，为窦建德立下战功后，再次回归到李渊阵营，他已经认准了李家才是明主。窦建德有感于李勣的为人，不顾手下劝阻，把他父亲给赦免了。
此后，李勣在李世民军中南征北战，屡立战功。李勣虽然大部分时间都属于李世民指挥，但他没有参与玄武门之变，对皇家内部事务毫无兴趣。这是一种智慧，他的忠诚是属于国家的。
