唐高祖李渊朝时，张士贵在李世民麾下南征北战，出生入死，灭薛举、薛仁杲；讨宋金刚、王世充、窦建德、刘黑闼和徐圆朗，立下赫赫战功，被授为上柱国、新野县开国公，多次受到李渊的亲自召见。可贵的是张士贵皇恩优渥，却谦逊谨慎，朝廷的大量赏赐他也与众将士分享。
张士贵作为秦王李世民的爱将，深受李世民信任。对李世民生死攸关的玄武门兵变，张士贵也参与其中，为李世民取得太子之位立下汗马功劳。兵变后，张士贵被授为太子府内率，官阶正四品，执掌太子府警卫，责任重大，可见李世民对他是何等的信任。李世民登上帝位后，张士贵也跟着升格，从警卫太子府调任警卫皇宫，授"玄武门长上"，执掌禁卫军。
贞观七年（633年），张士贵重返战场，当时西南发生动乱，张士贵被授行军总管领衔披挂上阵。动乱很快被平定，张士贵因军功荣誉虢国公，然后奉召回京，重掌禁军。此后在贞观十五年时，张士贵又领兵抗击薛延陀，会同其他四路大军取得大胜，迫使薛延陀遣使求和。战后，张士贵班师回朝，又做起了他的禁军首领。不久，张士贵又迁幽州都督。
贞观十七年时，高句丽企图断绝唐朝与新罗的通路。唐太宗李世民遣使出使高句丽，命高句丽停止争战，被高句丽拒绝。李世民决定给高句丽一点颜色看看，征讨高句丽。这时，外放的张士贵又被征召回朝，调集军粮，征募士兵，准备对高句丽用兵。薛仁贵也是在这个时候，听了媳妇柳氏的劝告，投奔到张士贵的军营。
