李勣于隋炀帝末年参加瓦岗军。武德二年（619年），徐世勣归顺唐朝。李渊封徐世勣曹国公，又加授右武候大将军，并赐姓李。武德三年（620年）至武德七年（624年）间，李勣随秦王李世民一统天下。武德八年（625年），突厥侵犯并州，李世勣迎击突厥，将其驱逐。武德九年（626年），李世民即位。李世勣为避李世民之讳，改名为李勣。
贞观三年（629年），李世民命李靖与李勣等率军十余万出击东突厥。李勣在白道（今内蒙呼和浩特）与突厥颉利可汗的军队遭遇。唐军奋力冲杀，把突厥军打得溃不成军。之后李勣又献计李靖突袭突厥，突厥大败四处溃逃。颉利可汗战败后，被李勣俘获。李勣最终俘获东突厥部五万余口。贞观十一年（637年），李勣被改封为英国公。李勣在并州任职共十六年，守护边疆，颇为称职。贞观十五年（641年）十一月，李勣被征调入朝，任兵部尚书。不久薛延陀部落二十万大军南侵。朝廷命李勣率步骑军六万抵御。李勣于诺真水（今内蒙古乌兰察布）大破薛延陀军，斩首三千余级，俘获五万余人。
贞观十九年（645年），李勣随李世民征高句丽。李勣暗中渡过辽水，抵达玄菟。高句丽人大为惊骇，各城都闭门自守。李勣与李道宗攻陷盖牟城，俘获百姓两万多口、粮食十多万石。之后，李勣陆续攻陷辽东城、白岩城、安市城。次年，李勣乘薛延陀内乱之机， 纵兵击破薛延陀残部，彻底灭亡薛延陀政权。
贞观二十二年（648年），李勣转任太常卿，仍任同中书门下三品。十日后，又拜太子詹事。贞观二十三年（649年），李世民卧病，对李治说："你对李勣没有什么恩惠，朕现在准备贬他为外官。朕死后，你应当授给他仆射之职，他就蒙受了你的恩惠，必定为你尽死力。"于是派李勣出任叠州都督。李治即位当月，召他入朝拜洛州刺史。接着又加封开府仪同三司，命李勣任同中书门下，参与执掌机要事务。同年，册拜为尚书左仆射。
永徽六年（655年），李治欲立昭仪武氏（武则天）为皇后，李治暗中询问李勣说："朕打算立武昭仪为皇后，这件事应该怎么办呢？"李勣回答说："这是陛下的家事，何必更问外人！"李治自此坚定了"废王立武"的决心，而李勣也因此得到了李治和武皇后的信任。
