随后张辽又兜兜转转在何进董卓麾下效力，最后成为吕布的直属部下。但是与小说不同，历史上张辽虽然"以兵属布"却相对独立，完全不需要看吕布的脸色行事。在吕布被李傕郭汜赶出长安后，带着张辽等人夺取了曹操的兖州，并且驻扎于此。
曹操此时正在进攻徐州，得知大后方被偷袭后赶忙回师，并且在濮阳周围与吕布军发生鏖战。然而吕布军实力强大，曹操屡战屡败，还中了陈宫的计谋，被吕布和张辽带兵追杀，差点死在他们二人手中，此时的张辽刚刚26岁。
公元199年，吕布被部将侯成、宋宪、魏续出卖，曹操顺势灭掉了龟缩在下邳城中的吕布势力，此时张辽正率领自己的军队驻扎在城外。曹操欣赏张辽的勇武，对他以礼相待，因此张辽率众投降，成为曹军的一员。
