然而，这些毕竟是小说和民间评书艺人杜撰的，夸张和戏说为主，水分很大。历史上的程咬金却与之截然相反。真正的历史中，程咬金非但不是平民百姓还是一位真正的贵族，武艺也不是像小说中说的只会三板斧。他年少成名，从小便勇武过人，程咬金擅长使用的武器并不是八卦宣花斧，而是那个年代打造颇为困难，属于贵族的重型骑兵武器-马槊。大业六年，天下大乱，民间盗贼猖獗，程咬金组织了一支数百人的武装，保卫家乡。由于他本人就勇猛，所以这支队伍也是十分强悍。时逢天下大乱，在东郡韦城县出现一支农民义军--瓦岗军，随着影响力增大，各路豪杰纷纷奔，包括王伯当、单雄信、徐世绩等，程咬金也领自己的武装加入。
瓦岗军在李密的领导下，战败来镇压的号称"威镇东夏"的张须陀，一时间声威大震。随着瓦岗军打下的地盘越来越多，但领导人之间却发生了内讧。后来李密被王世充给打败了，他也被王世充给擒获了，不过他比较幸运，再加上自身能力也是比较出色，所以王世充很看好他，于是待他也不错，还把他封为了将军。
程咬金是有着精准的政治眼光。李密战败于王世充，程咬金和秦琼都被王世充俘虏，不得已投降。王世充格外厚待二人，然而程咬金认为王世充为人多狡诈。隋末乱世，群雄割据，除了洛阳王世充，还有河北的窦建德，江淮杜伏威、辅公祏以及南梁的萧铣等，程咬金却选择了投靠唐朝，并且是在王世充和唐朝交战时，和秦琼直接归降大唐。被唐高祖李渊安排到秦王李世民府上任职，从此开始为唐朝出力。
他开始跟随李世民南征北战，立下了赫赫功勋。而李世民在他们的协助下也很快地统一了全国。而随着李世民威望越来越大，逐渐开始威胁着太子李建成的储君地位。而程咬金身为李世民的心腹大将，便称为对方首先针对的对象，李建成为了削弱李世民的力量，便进献谗言准备将程咬金调离京城，让其去康州任职。但是这一阴谋被程咬金看穿，便拒绝了出任康州刺史。这时他告诉了秦王说：您如果自身的势力都被清除掉了，肯定自身的安全没人能够保证，我可以死，但不能离开您的身边啊。果然在两年之后，李世民就发起了玄武门的兵变，将太子和自己的三弟都给杀死了，迫使父亲李渊退位，自己登上了皇位。就这样，程咬金一直跟随着李世民又重新成为了皇上身边的得力助手。
