最终，他加入了翟让领导的瓦岗军势力。首次出手，就指挥徐世勣（即李世勣，演义中徐茂公的原型）、王伯当，设计击败、斩杀了当时被视为义军克星的隋军名将张须陀，这让原本只是干干打家劫舍勾当的瓦岗军上下为之折服。
依仗这份漂亮的投名状，李密得以被允许组建自己的队伍。这支军队，被李密以自己家族在朝廷中的爵位命名：蒲山公营。行家一出手，便知有没有，李密号令严明、御军有术，"凡号令士卒，虽盛夏，皆如背负霜雪"；而且他为人俭朴、与部下同甘共苦，战斗获得的财物，全都分给了将士们，由此极得人心。蒲山公营，也成了当时最强悍的一支队伍。
（不过从"蒲山公营"这个名字，我们可以看出李密对家族荣耀的念念不舍，但这也注定了他今后的失败）
李密真正带领瓦岗军脱胎换骨，是在公元617年。根据他的计划，瓦岗军夺取了天下最大的粮草洛口仓，其后开仓放粮；紧接着击败了隋朝越王杨侗从洛阳派来的平叛军队。
