程知节等瓦岗将领在王世充那里最初也得到了王世充的看重，其中程知节成为将军，但是王世充倚重的还是江淮楚人，渐渐对瓦岗将领们不再那么看重，而且王世充本人也的确不是明主，程知节越来越觉得应该离开王世充，他对秦琼说：
"世充器度浅狭，而多妄语，好为咒誓，乃巫师老妪耳，岂是拨乱主乎？"
程知节对秦琼表示了自己的去意，而秦琼等人也不愿意继续跟着王世充，于是619年，王世充和唐军在九曲交战时，程知节、秦琼等数十人阵前拜别王世充，跃马离开，投到了大唐这一边，王世充眼睁睁看着这些人的离开而毫无办法。
李渊将他们都安排在李世民身边，程知节成为左三统军，开始跟随李世民南征北战，后因公封为宿国公。没过几年，天下尽归大唐，而李世民也成为天策上将，有了与李建成比肩的势力，自然就有了为那个位子搏一下的野心。
