此前，曹操正在宛城（今河南南阳）亲征张绣。得知高顺、张辽击败了夏侯惇、刘备后，曹操停止攻打张绣，转而东征徐州。吕布亲自固守下邳，被曹军包围。建安三年（198年）冬，曹操在下邳大破吕布，吕布被缢死。张辽率众投降，被曹操任命为中郎将，赐关内侯。后因他屡建战功，升为裨将军。
建安六年（201年）曹操打败袁绍后，派张辽、夏侯渊带兵平定鲁国的各县。他们在东海郡（今山东临沂、江苏赣榆一带）包围了吕布的余党昌豨，围了数月，曹军粮草将尽，夏侯渊便商量撤退，张辽说："这些天来，我每次巡视阵营，昌豨总是盯着我，而且，他的士兵所射的箭越来越少，我认为他一定是犹豫是战是降，所以才没有力战。我希望能诱使他同我对话，倘若成功诱使昌豨投降，岂不是更好吗"？于是就派人传话说："曹公有话，让张辽对你宣布"！昌豨果然从城上下来与张辽谈话，张辽对他说："曹公神智武勇，正在用他的仁德感化四方各派的势力，先归附的可以受大赏"！昌豨于是答应投降。张辽独登上三公山，进入昌豨的家，拜访了他的妻子儿女。昌豨非常高兴，随他去见曹操。曹操对昌豨慰抚有加，命他仍任东海郡守。曹操责备张辽道："这不是大将应该做的"！
此后，张辽跟随曹操，或独立作战，立了很多战功，先后任中坚将军、荡寇将军，被封为都亭侯。
