他原本和李渊没有任何关系，投靠的是家乡当地的起义领袖翟让。后来出于对局势的考量，李勣和浚仪人王伯双双建议翟让投靠到更有名望的蒲山公李密手下，这才和李渊有了交集。
当时李密是隋朝重点打击的起义领袖。因而在大败给隋朝大将王世充以后，李密不得已投靠了李渊。而作为李密心腹的李勣，则被李密推为原本据地的新主。不过李勣认为"魏公（李密）既归大唐，今此人 众土地，魏公所有也。吾若上表献之，即是利主之败，自为己功，以邀富贵，吾所 耻也。今宜具录州县名数及军人户口，总启魏公，听公自献，此则魏公之功也。"所以他坚持将土地归还给李密，让李密自己献给李唐。
得知此事的李渊惊讶于李勣的德行，所以说出了那句"徐世勣感德推功，实纯臣也。"而李勣用他辅佐三朝李唐皇帝的实际行动，来验证了当初李渊并没有看走眼。李勣帮助李唐平定了在江南作乱的窦建德，还大败了侵犯李唐的突厥部落、薛延陀部落，甚至拿下了动荡的高丽。
连李世民都感叹："隋炀帝不能精选贤良，安抚边境，惟解筑长城以备突厥，情识之惑，一至于此！朕今委任李世勣 于并州，遂使突厥畏威遁走，塞垣安静，岂不胜远筑长城耶？"
