后来张郃颇受曹操重用，交给其部队，让他跟随自己攻打邺城，占领了邺城。张郃又跟随曹操到渤海攻打袁谭，他单独率军包围了雍奴，击溃了袁军。随同曹操征讨柳城的时候，张郃和张辽担任先锋，张郃因为屡立战功升任平狄将军。张郃还领兵征讨东莱郡，讨伐管承，还和张辽等人一起讨伐陈兰、梅成等人，大获全胜。张郃跟随曹操到渭南，击溃了马超、韩遂等，又包围了安定，杨秋投降。张郃、夏侯渊一起征讨盘踞在鄜城的贼寇梁兴和武都一代的氐族叛军，再次击败了马超的部队，平定了宋建统治的地区，战功累累
作为曹操的五子良将之一，张郃对魏国的忠诚可见一斑，先后侍奉曹操、曹丕和曹睿三代君王，而且深的器重，曹魏政权甚至将张郃作为其维护统治的"镇国柱石"。
可是，据史料《魏略》中记载，在公元231年，诸葛亮第四次北伐的时候，张郃联合司马懿共同负责阻击诸葛亮带领的蜀军，原本诸葛亮已经退守到了祁山，可是司马懿却强行命令张郃追击诸葛亮，导致一代名将张郃在和蜀军交战的过程中被流失集中，不幸阵亡。
