到了隋大业六年（610年），天下大乱，程咬金组织了数百名乡民，专门抵抗来东阿劫掠的盗贼。很显然，如果程咬金不是豪门大族，哪有这样的号召力？其后，程咬金加入到瓦岗军首领--魏公李密的麾下，以其精湛的武艺，为瓦岗英雄打头阵。
不久后，李密兵败洛阳，程咬金和秦琼等人被迫投降反王王世充。根据史书记载，程咬金和秦琼看不起王世充的为人，竟在阵前，当着所有人的面投靠了唐朝。说实话，这段史实太过离奇，缺乏铺垫，让人以为是后人演绎。然而根据墓志铭，我们发现，程、秦二人临阵投唐，是实际存在的。
碑文写道：公撰时嚷首,应机投袂。睹杨云而式林,仰憔星以载驰。粤自艰危,间行归顺,则武德元年也。蒙拜上大将军。"
翻译过来就是，程咬金认为王世充非人主，因此弃暗投明，于武德元年（618年）投奔唐朝，被拜为大将军。而根据史书，程咬金投唐是在武德二年（619年），为何两者有矛盾呢？
