袁绍虽然比起韩馥要好上不少，但张郃仍觉得他不值得自己效命，官渡之战爆发后，曹操亲自率军突袭袁军粮草的存放地乌巢，张郃向袁绍建议道："曹公兵精，往必破琼等；琼等破，则将军事去矣，宜急引兵救之。"但袁绍却听信谋士郭图的话，用一招拙劣的围魏救赵直取曹军大本营。
结果，不但大本营没有攻下，乌巢也被曹军焚烧，大军损失惨重。结果这时，郭图却把责任推卸给了张郃，这让他怒而转投了曹操。这之后，张郃在曹操帐下得到了信任和重用，他先后参与了攻打邺城、袁谭、柳城、东莱、陈兰、马超、梁兴、宋建、张鲁的战役，立下了汗马功劳，于是被委派和夏侯渊一同镇守汉中。
据《魏略》记载，"刘备惮郃而易渊"，让一代枭雄加以忌惮，可见其能力的出众。夏侯渊身死后，其部将郭淮还以"张将军，国家名将，刘备所惮；今日事急，非张将军不能安也"的理由拥立他为新任统帅。此后，张郃便成为了曹魏在西线的主将。
诸葛亮第一次北伐，派马谡镇守街亭，"郃绝其汲道，击，大破之"，西北三郡响应诸葛亮，张郃也悉数平定。《三国志》称："郃识变数，善处营陈，料战势地形，无不如计，自诸葛亮皆惮之。"总体而言，他是一位文武双全，领兵有方的良帅。
