后来张郃颇受曹操重用，交给其部队，让他跟随自己攻打邺城，占领了邺城。张郃又跟随曹操到渤海攻打袁谭，他单独率军包围了雍奴，击溃了袁军。张郃还领兵到东莱郡讨伐管承(此事不晚于建安十一年秋八月)。
随同曹操征讨柳城的时候，张郃与、曹纯等人都在先锋军中。在中，受张辽指挥，大破，斩蹋顿及名王以下十余人，俘虏二十余万人，最终讨平乌桓，彻底铲除残余。张郃因为屡立战功升任平狄将军。
后来，陈兰、梅成等人在淮南反曹。张郃与牛盖等人在张辽的督领下，一起讨伐陈兰、梅成等人。陈兰、梅成率军到转入潜山县。潜山县境内有天柱山，高峻二十馀里，道险狭，步径裁通，陈兰、梅成等人据守天柱山。张辽、张郃、牛盖等人猛进天柱山，最终，，斩陈兰、梅成首级，尽虏其众。
张郃跟随曹操到渭南，击溃了、韩遂等，又包围了安定，杨秋投降。张郃、又跟从西进，征讨盘踞在鄜城的贼寇梁兴和武都一代的氐族叛军。当张郃率军到渭水上时，马超率氐、羌数千前来进攻，却被吓得不战而逃。张郃收整马超军遗留的器械，又击败了马超的部队。当夏侯渊赶到时，诸县都已经投降了张郃。张郃还平定了宋建统治的地区。
