何进死后，整个朝廷乱成了一团，董卓进京，把持了朝政，张辽于是便又成为了董卓的部属。到了这一时刻，他"克主"的属性依然在发挥着作用。王允用美人计除掉了董卓，中原再次乱成了一锅粥，吕布成了一方诸侯，张辽受吕布赏识，拜为骑都尉，镇守北方。
当然，虽然名义上张辽是吕布的部将，但他个人还是有着很大的自主权的。
在张辽25岁的时候，随着吕布大杀四方，占领了衮州。我们都知道，曹操初期的时候一直都在中原活动，离衮州非常近。因此吕布在那一带的活动不可避免地要和曹操起冲突。那时候吕布的兵马还十分勇猛，屡次击败曹操，张辽也正是在那一年取得了他人生中第一个辉煌的战绩：追杀曹操。这一战和后来的马超有得一拼。
经过几场战斗失败之后，曹操重整旗鼓，再加上谋士的建议，很快便反败为胜，把吕布赶出了衮州。狼狈不堪的吕布被迫迁往徐州。那时候驻扎在徐州的是刘备，没想到的是刘备好心收留吕布，最终却被他夺走了徐州。
