曹操这时对众曹将说道：我曾听关云长说过，他有个三弟叫张翼德，能在百万大军中，取上将之首级，如探囊取物一般容易，众将不可轻敌。曹操这么一说，简直是长他人威风，灭自已志气啊！众曹将听了曹操的话，更加不敢上前应战，生怕自已的首级就被张飞取了。
张飞见曹军退又不退，攻又不攻，就这么相峙着，就又喊了一句：燕人张翼德在此！ 谁敢来决一死战？战又不战，退又不退，却是何故！这么一声喊出来，把曹操身边的夏侯杰吓得掉下马来，曹操本来就有退意，又看到自已的诸将这幅样子，于是下令退兵。
当然了曹操退兵也不是完全被张飞吓退的，当时刘备是向夏口（今湖北武汉）逃去，夏口在当阳的东边，而曹操追赶刘备，是担心刘备会到江陵（今湖北荆州）去夺取存储的大量物资，所以才率领虎豹日夜兼程追赶刘备，在当阳击败刘备，刘备向东逃走，曹操还想着江陵城的物资呢，所以就暂时放过了张飞和刘备。
另外江陵城是当时南郡的治所，而南郡又是荆州的核心区域，扼守长江水道，承上启下，横贯东西，地理位置非常重要，控制荆州首先要控制南郡，控制南郡首先要控制江陵，曹操此行的主要目的就是夺取江陵城，所以放过了刘备。
