加入李密军队之后，李勣凭借着之前与隋君的一战得到李密的欣赏，李密时常将他带在身边，每次遇到问题都喜欢询问他的意见。后来隋朝派遣王世充等人率领军队讨伐李密，在李勣的谋划之下，最终在洛水流域打败王世充，李密因此加封他为东海郡公。当时山东地区遇到大水，灾民遍地，而隋朝朝廷自顾不暇，没有采取任何行动，每天饿死的人数以上万。李勣就曾向李密进言，现在天下大乱，再加上收成不好，如果我们攻陷黎阳仓库，那么必然能够成就大事。李密听从了他的意见，派遣李勣率领五千人的队伍渡过黄河前往攻取。在攻克之后，他们又开仓赈粮，短短的十天之内就招揽到士兵二十多万人。却不料不久之后，李密军内部发生叛乱，翟让被杀死了，李勣在李密的宽恕之下逃过一劫。为了稳定人心，李密派出手下将领单雄信前往安抚翟让旧部，并让其隶属于李勣麾下。
深思熟虑，归降唐朝
武德元年，李密被王世充所打败，无奈之下只好率领剩下将领归顺于唐朝，因此李密原来所占领的属地都被李勣所接管。第二年，李勣曾经对手下长史说:"现在李密已经归降于大唐，他原本的人民和土地本就归李密所有，我现在如果献上他们给唐朝替自己邀功用来换取富贵，这才是我的耻辱。而我现在做应该做的，则是详细的记录各州县的名称以及人民的户口，全部报告李密，让李密自己奉献给朝堂，这样便是李密的功劳。"就这样，他便派遣使者将信件送给李密，等使者到了朝堂之后，李渊听说没有李勣的奏折，只写信给李密感到奇怪不已。等到使者将李勣的本意给李渊解释之后，李渊非常的开心，说这样的人才能够称得上是国家栋梁。于是便赐他国姓，负责统领河南山东一带的军队抵抗王世充的入侵。
