194年，曹操与吕布在兖州展开了大战，双方互有胜负，张辽在其中充当着重要角色。这场战争持续了一年，曹操兵败如山倒，一度只剩下1万多士兵。只不过打仗不仅看人力，同时也看天机，没多久后，当地发生了巨大的蝗灾，两人都选择了不继续这场旷日持久的战争，战争结束时，张辽26岁。
到了张辽29岁时，吕布打算用金子购买车马，没想到横空插入一人，刘备的军队竟然将金子都抢走了。尽管张辽与关羽为刎颈之交，但为了自己所在的阵营，他依旧飞身上马，攻打刘备的军队。刘备在敌人的猛烈攻势下落荒而逃，不得已求助曹操。曹操立马派夏侯淳前来相助，结果张辽硬是与人将夏侯淳打得个落花流水，接着共同攻击刘备，导致刘备魂飞胆丧，差点就命归西天。
只不过吕布在世间存活的日子并不长，吕布去世后，张辽带着自己的部队归降于曹操，自那以后，他成为了曹操的左膀右臂。
