李渊称帝之后，张士贵跟随李世民开始讨伐其他割据势力，西征灭掉薛举，随后又以少胜多大败王世充。619年，跟随李世民大败刘武周，第二年又在河南大败王世充和窦建德联军，为消灭割据势力立下汗马功劳，李唐统一天下发动的六次重大战役，张士贵参与四次。而在跟随李世民南征北战的这些年，二人结下很深的友情，让张士贵渐渐成为了李世民的心腹大将。
626年，玄武门事变爆发，在这场李世民主动发起的政变中，张士贵也参与其中。贞观七年，仡佬族发生暴乱，朝廷命张士贵率兵前去平乱，他身先士卒，不畏箭矢冲锋在最前面，率军一鼓作气平息了此次叛乱，回朝之后，受到李世民的大加赞赏，李世民在百官面前说道：朕只听说过但并没有亲眼见过不顾性命以身报国的将领，今日张士贵终于让我见到了。
