少骁勇，善用马槊。后依李密，署为内军骠骑。时密于军中简勇士尤异者八千人，隶四骠骑，分为左右以自卫，号为内军。知节既领其一，甚被恩遇。行俨先驰赴敌，为流矢所中，坠于地。知节救之，杀数人，世充军披靡，乃抱行俨重骑而还。为世充骑所逐，刺槊洞过，知节回身捩折其槊，兼斩获追者，于是与行俨俱免。
程咬金年轻时就很勇敢，十分擅长使用马槊为兵器，而不是斧头，马上功夫了得。隋末唐初，天下大乱，他收集招募民众，建立了一直几百人的乡勇队伍，之后投奔了瓦岗寨的李密。李密在众多军士中筛选了八千善战军士组成了一支精锐之师，在选拔过程中程咬金勇猛果敢，李密很器重他，让他出任这支军队的一个统领。在之后的战斗中又在同伴落马重伤，敌军围困的危急时刻，不计个人生死，勇敢冲阵，救出同伴。敌人追击过程中，自己被马槊刺中身体，血流不止，回身攻击，斩杀敌将，得以逃脱。程咬金在瓦岗寨的经历表现出了英勇善战、有情有义、临危不乱的一面，他不仅是一为敢于冲锋陷阵的猛将，也是一个身处困境，也不忘兄弟同伴的大丈夫，少骁勇三字在在瓦岗寨在战斗中得以证实。
"及密败，世充得之，接遇甚厚。知节谓秦叔宝曰："世充器度浅狭，而多妄语，好为咒誓，乃巫师老妪耳，岂是拨乱主乎？"及世充拒王师于九曲，知节领兵在其阵，与秦叔宝等马上揖世充曰："荷公接待，极欲报恩。公性猜贰，傍多扇惑，非仆托身之所，今谨奉辞。""
在李密兵败之后，他和秦琼等一众瓦岗寨猛将被占据洛阳的王世充收容，王世充深知他们英勇善战，给予了他们极好的待遇。投降王世充后，程咬金没有被优渥的待遇蒙蔽双眼，清醒认识到了王世充心胸狭隘、多嫉少谋，不行仁治，不是一个贤明的君主。不久就会灭亡，更不用说拯救苍生，结束割据局面了。主动劝说秦琼王世充不是明君，不久之后必然灭亡，劝说秦琼同自己一起另投明主。程咬金、秦琼带领数十名瓦岗寨旧部一起投奔了占据长安的李唐势力，并被编入了唐王李世民的麾下，开始了征伐天下的进程。在离阵投唐之时，不忘王世充对他的优待，在马上对王世充行礼，告知离开原因，这种行为可以说是有礼有节了。在洛阳的程咬金显示出了清醒的头脑，不为名利所困，择主而就。粗中有细，对天下君主有着较为透彻的认识。
授秦王府左三统军。破宋金刚，擒窦建德，降王世充。每阵先登，以功封宿国公。武德七年，建成忌之，构之于高祖，除康州刺史。知节白太宗曰："大王手臂今并翦除，身必不久。知节以死不去，愿速自全。"从太宗讨建成、元吉。
