建安十二年（207年）秋，曹操为统一北方，打算征讨在柳城的袁尚、乌桓的袁熙。张辽随曹操征伐袁尚，在柳城白狼山（今辽宁省喀喇沁左翼蒙古族自治县白鹿山）突然遭遇了匈奴军。很多将士害怕匈奴，张辽力排众议，反对畏敌不前，极力劝说曹操同匈奴作战，曹操被他的胆魄所感染，就把自己手中的麾旗交给了他。张辽率军突击，大破乌桓军队，并临阵斩杀了以"骁武"著称的乌桓匈奴单于蹋顿。白狼山之战，张辽名声鹊起。后人将他与卫青、霍去病并论！
曹操击败乌桓，彻底消灭了袁氏残余势力，除了关西地区尚被马腾、韩遂占领外，基本上统一了北方势力。
建安十三年（208年），赤壁之战前，曹操派张辽屯新兵驻长社（今河南长葛）。当时，荆州尚未安定，人心尚未归附。临出发的那天，军中有人谋反，乘夜放火乱叫，引起全军骚动。张辽对左右说："不可乱动。这一定不是全营尽反，那些制造叛乱之人，一定是想借此煽动扰乱全军、惑乱众人而已"！于是，张辽传令军中，只要不是谋反者就安坐勿动。张辽亲自带着几十个亲兵，立于军中。不一会儿就平息了骚乱，抓到并处死了带头谋反的人。
建安十四年（209年），庐江（今合肥巢湖）人陈兰、梅成煽动安徽六安氐族人叛乱，曹操派于禁、臧霸等领兵征讨梅成；命张辽督率张郃、牛盖等人征讨陈兰。梅成见于禁军来，佯装投降。于禁中计，轻率地回军。梅成就同陈兰会兵一处，转入灊山（qián今安徽潜山西北）。山中有天柱峰，高峻陡峭，方圆二十多里，山道狭窄嵯峨，宽度仅容一人通过，陈兰等在上面筑起营垒。张辽想进军，众将以"兵少路险，难以深入"为由不愿进剿。张辽认为："这正是春秋时齐国的申鲜虞所说的'一与一'的形势，谁勇敢谁就能占到先机"！便在山下安营，发起攻击，将陈兰、梅成斩首，俘虏了全部贼众。曹操在为众将评功时说："登天柱峰，亲涉险境，战胜陈兰、梅成是荡寇将军的功绩"。为张辽增加了食邑，允许他持节巡行。
