李世民有这样的心思，李建成自然看得出，他想尽办法将李世民身边的人都弄走，将他们遣回家的遣回家，收买的收买，外放的外放。作为李世民身边的得力干将，程知节自然也在李建成的算计之内。武德七年即624年，李建成在李渊那里"美言"了几句，然后李渊将让程知节去做康州刺史。程知节于是劝说李世民：
"大王手臂今并翦除，身必不久。知节以死不去，愿速自全。"
这是程知节的第二次选择，选择站在李世民这边，并劝他尽快行动，以防不测，后来的玄武门之变，程知节自然也是参与者之一。李世民登基之后，程知节成为右武卫大将军，得食实封700户。
贞观年间，程知节主要是在外地为官，643年，其画像进入凌烟阁，然后开始留在长安为官。后来李世民去世，李治登基，即唐高宗，656年，李治任命程知节为葱山道行军大总管率军讨伐阿史那贺鲁。李治还给程知节配了一个副手王文度，以及前军总管苏定方。
