张辽25岁那年，跟随吕布占领了兖州，在这里，张辽遇见了自己将来的主公曹操，凭借吕布等人勇猛，吕布大军一度战胜曹操数次，而张辽更是一度追杀曹操，打得他只剩下1万多士兵，但是双方最终因为蝗灾而罢兵，曹操得以重振军威，一鼓作气击败吕布，从而张辽随着吕布前往徐州，。
196年，吕布从刘备手中夺走徐州后，张辽担任了鲁国的国相，年29岁，下半年，吕布部下购买的军马被刘备抢走，而张辽和关羽虽然交好，依然奉命出战，和高顺攻击刘备军队，先后杀溃了曹操派出的夏侯惇援兵以及刘备部队，获得了他的老小，只剩下刘备一人得以逃脱。《英雄记》："北地太守张辽等攻备。九月，遂破沛城，备单身走，获其妻息。"
然而随着199年吕布战败，张辽十分有远见的归降了曹操，曹操对于昔日这个追杀自己的将领，反而是极其的礼遇，拜他为中郎将，赏赐为关内侯。
