贞观十九年，张士贵随李世民征东，在征东战场上，薛仁贵大放异彩，受到李世民的破格提拔，开始崭露头角。张士贵也因战功官拜右屯卫大将军。
唐高宗李治永徽四年，这时张士贵已是67岁的老将了。因为年老体弱，李治准许了他的退休请求。这时他的老部下薛仁贵接替了老上司的职务，镇守玄武门。
永徽六年，张士贵的病情不断加重，唐高宗李治并没有忘记这位为国征战的老将，他也曾派遣御医为张士贵医治，无奈张士贵还是在显庆二年（657）六月时，在河南病逝，终年72岁。张士贵身后备极哀荣，李治追赠其为辅国大将军，准许其陪葬诏陵。
张士贵自617年归顺李渊，至657年辞世，忠心效忠李唐四十余年。四十多年来，张士贵征战沙场，为平定国内割据势力和边患立下赫赫战功，他谦逊谨慎，居功不傲，对大唐王朝赤胆忠心。而这样一位忠臣良将却被民间评书演绎成一位嫉贤妒能的小人。张士贵与薛仁贵之间的故事一直在民间被人们津津乐道。而事实上，薛仁贵在高宗朝时征突厥"三箭定天山"、征高句丽时，张士贵早已不在人世，又何谈陷害薛仁贵？所以说名将张士贵在民间是被黑得够惨的。
