瓦岗军的创建人翟让，东郡韦城(今河南滑县东南)人，做过东郡(治白马，今河南滑县)法曹，坐事当斩，越狱逃亡，聚集同郡人单雄信、徐世勣等，和隋统治阶级进行斗争，人数渐渐发展到一万多人，他们大都是善使长枪马槊的渔猎手。这一支农民起义军在坚持斗争的第四个年头，接受了李密到他们的队伍里来李密的曾祖父李弼，西魏八柱国之一，北周初封魏国公(李密以后称魏公，就是这个缘故)。祖父李曜，北周时封邢国公。父李宽，周隋之际，位至柱国，蒲山郡公，当时号称"名将"。
李密在开皇年间袭爵蒲山郡公，大业初年以门荫为左亲卫府大都督杨玄感起兵反隋，引李密为谋主。杨玄感兵败，密被捕中途逃脱，变姓名在淮阳(郡治宛丘，今河南淮阳)村舍中聚徒教授。他曾投奔过农民起义军的平原郝孝德部和长白山王薄部都不被重用最后在大业十二年(公元616年),经王伯当介绍，投奔瓦岗军。瓦岗军开始只是在荥阳(郡治管城，今河南郑州市)、梁郡(治宋城，今河南商丘)一带汴水所经之处活动。大业十二、三年之间，全国革命形势高涨，正如前面所提到过的，当时各支农民起义军领袖在艰苦的阶级斗争下，认识到农民起义军力量分散的缺陷和联合的好处，所以各支农民起义军渐渐联合起来。
瓦岗军也没有例外，如活动在东郡、济阴(郡治济阴，今山东定陶西南)一带的农民起义军王当仁、王伯当、周文举、李公逸诸部，也纷纷聚结在瓦岗军周围，瓦岗军的力量便大大充实起来。于是瓦岗军逐渐从守势转入攻势，集中兵力攻破了金堤关(在今河南滑县东)和荥阳属县，达到了孤立荥阳的目的。大业十二年十月，隋炀帝责怪荥阳太守杨庆作战不力，加派河南道十二郡黜陟讨捕大使张须陀兼任荥阳通守(通守位次太守),率领劲旅二万来攻击瓦岗军。瓦岗军利用了张须陀"勇面无谋，兵又骤胜，既骄且狠"的弱点，诱敌深入，一举歼灭张须陀的军队，杀死张须陀。这一战役，沉重地打击了隋统治阶级，使"河南郡县，为之丧气"。
