鉴于张郃的威名，曹操不但没有将张郃当作败军之将处斩，反而十分爱惜张郃的才能，亲自对张郃说道："子投曹操，犹如微子去殷，韩信归汉也！"
在曹操阵营中，能够得到曹操如此之高的评价，足以见得张郃这个人的军事才能是出类拔萃的。投靠到曹操麾下之后的张郃先后跟随曹操征战四方，大破乌桓，数次击败马超，公元220年，跟随魏文帝曹丕南下，在江陵地区大败吴军，又在228年的时候击退前来进犯魏国的诸葛亮，取得街亭大捷。
曹叡对此十分高兴，当即下诏说道："贼寇诸葛亮率领巴、蜀的乌合之众，遇上了猛虎一样的我军将士。将军您披肩甲、执利器，攻无不克，朕要嘉奖你的大功，增加你的食邑一千户，连同一千的赏赐共计四千三百户"，随后又将张郃调回京师，敕封为征西车骑将军。
