曹操帐下，张郃很受重用，率军南征北战，击败过二袁、马超、张鲁，几乎参与了曹军每一次战役，成为曹军中著名的"五子良将"，封将封侯，时人将他与张辽并列。
蜀魏相争中，张郃与夏侯渊镇守汉中以拒刘备。
刘备最重视张郃，轻视名义上的主帅夏侯渊。夏侯渊被蜀军所杀后，张郃退守阳平关。刘备听闻此事，不以为然的说："当得其魁，用此何为邪！"意思是，要杀就杀魁首张郃，杀个区区夏侯渊有个毛用！
司马郭淮见三军无首，就说："张将军，国家名将，刘备所惮；今日事急，非张将军不能安也。"于是众人推举张郃出任主帅，军心立刻安定，将刘备阻于汉水以南。曹操放弃汉中后，张郃仍然被安排在前线，统帅关中军队。
