追随曹操之后，张辽又立下汗马功劳。公元200年（建安五年），曹操命张辽与关羽同为解白马围的前锋，击破袁绍军。"降昌豨于东海，攻袁尚于邺城"，数有战功。张辽的职位也一直上升，直到成为一名将军。之后又讨平梅成、陈兰的贼寇。和曹操其他部下一起守合肥，成功击退孙权十万大军，差点活捉孙权，之后孙权都对他忌惮三分。
经过多次大大小小小的战役，张辽一战威震江东，名扬天下。就连哭泣的孩子，听到张辽的名字都吓得不敢哭了。黄初二年，张辽得病，但仍有英武之气，名声依旧不减当年。黄初三年，张辽竟然能抱病击破吴将吕范，然而同年，张辽却病得更加严重，最后病逝于江都，谥刚侯，卒年54岁。
