他曾从属丁原、董卓、吕布。下邳之战后，归顺曹操。
此后，张辽跟随曹操南征北战，战功累累。他先后与关羽同解白马围，降昌豨于东海，攻袁尚于邺城，率先锋在白狼山斩杀乌桓单于蹋顿，又讨平辽东柳毅、淮南梅成、陈兰等。
濡须之战后，曹操任命张辽、李典、乐进等守合肥。张辽多次击退孙吴进攻，在建安二十年（215年）的合肥之战，张辽率800将士冲击孙权的十万大军，打到了孙权的主帅旗下，令孙权闻风丧胆，吴军披靡溃败。后以七千之众大破十万大军，差点活捉孙权。经此一役，张辽威震江东，声名大噪，"张辽止啼"也成为民间流传的传奇故事。
