张绣准备好后，趁夜袭击曹操的中军大营，打了曹操一个措手不及。在慌乱中，曹操骑着战马绝影落荒而逃，可没跑多远战马就被射死，胳膊和脚也都受了伤，眼看曹操就要丢下老命的时候，他的长子曹昂把自己的战马交给曹操骑，并和大将典韦掩护曹操逃命，曹操这才侥幸逃出包围，可惜曹昂和典韦以及曹操侄子曹安民等都战死。
198年，曹操再次南征张绣，并包围穰城。可曹操突然接到情报说，袁绍正要趁他南征之机偷袭许昌，于是，曹操立即退兵。张绣和刘表见曹操撤退，便一个尾随追击，一个出兵截断曹操退路，企图合击曹操，将其消灭。但曹操毕竟是曹操，竟用奇兵打败张绣与刘表的联军，最后，张绣在贾诩的帮助下，再次追击曹操取得小胜，不过曹操还是顺利撤回许昌驻守。
199年是曹操与袁绍进行官渡之战的前夕，双方斗争得比较厉害，为加重取胜的砝码，双方都对张绣展开了拉拢。袁绍首先派人到宛城招降张绣，张绣也有意向袁绍投降，但贾诩却指出，"归谢袁本初，兄弟不能相容，而能容天下国士乎？"同时他还指出，曹操是一个志向远大之人，且力量较弱更会看重归降他的盟友，至于之前双方的交战，曹操不会计较的。张绣听从了贾诩的提议，最后向曹操表示了愿意归降的想法，曹操当时正迫于袁绍的强大压力，急需解除后顾之忧，对张绣来降，为了大局他自然求之不得。曹操为表示诚意，还专门安排儿子曹均娶了张绣的女儿，并奏请拜张绣为扬武将军。
