后来看天下大势越来越乱，就投奔了瓦岗军，受到了李密的重用，瓦岗军的首领本来是翟让，李密投奔瓦岗军后越俎代庖，不仅成了瓦岗军的首领，还杀了翟让，作为一个外来户，李密自然要培养自己的势力，李密从军中挑了八千名勇烈之士，隶属四骠骑，号称内军，程咬金是管领四骠骑之一，可见李密对程咬金的看重。
李密势大之后越来越骄傲，不再体恤将士，打了胜仗后也不把战利品分给将士们，使得瓦岗军将领离心离德，唐武德元年（618年），王世充和李密大战邙山脚下，李密被打的大败，瓦岗军的裴仁基、祖君彦、程咬金、秦琼等人被王世充所俘，王世充对程咬金和秦琼也是给予了厚待，封秦琼为龙骧大将军，程咬金为将军，不过这两人不耻王世充的为人，找了个机会投奔了李唐，唐高祖李渊把他们都分给了李世民，成了李世民的得力助手，后来都参与了玄武门之变，为李世民夺权立了功，事后秦琼被拜为左武卫大将军，程咬金先是官拜太子右卫率，随后又迁升为右武卫大将军。
程咬金并非象演义那样是个大大咧咧的人，可以说是个智勇双全且很懂得看人的人，太子李建成为了削弱秦王李世民的势力，在收买尉迟敬德不成后，就转而向李渊进馋言把程咬金外派到偏僻的康州去，又借助李渊的力量把房玄龄、杜如晦赶出了秦王府，这里也能看出程咬金的份量，在贞观时期也是深受李世民的重用，贞观元年就被任命使持节都督沪、戎、荣三州诸军事，贞观十一年封卢国公，子孙代代承袭，贞观十七年李世民命人画二十四功臣于凌烟阁，程咬金位于第十九名。
