董卓死后，张辽就又跟随了吕布。吕布曾在山东割据一方，而曹操也在那里活跃过，因此吕、曹双方曾为了争夺兖州、濮阳而打得不可开交。张辽军事才能出众，武艺一流。在《三国演义》里，关二爷曾亲口点赞张辽:"其武艺不在你(张飞)我之下。"
而他也曾与太史慈打过80合的平手，这么来看，他的武艺真心不低。山东大战时，陈宫给吕布出了个计策，结果曹操差点被杀，当时25岁的张辽就一路追杀曹操，差点将其解决。
198年，吕布被曹操处死，而张辽则归顺了曹操。千里马有了伯乐才能发挥自己的才能，而张辽遇到了伯乐曹操就真正像千里马那样有了尽情奔跑的机会。曹操雄才大略，而张辽武艺一流又尽忠职守，所以他一下子成了曹军名将。
