吕布对张飞极度痛恨和厌恶，但在《三国演义》第14回中，吕布夜袭徐州城，明确知道张飞醉酒不能力战的情况下，仍然"素知飞勇，亦不敢相逼"，看着张飞冲出重围。能让吕布产生"不敢"的情绪，可知张飞之悍猛。
张飞丢了徐州后，知耻而后勇，奋发努力，武力值进一步提高。他扮成强盗，劫夺吕布的马匹，吕布勃然大怒，兴师问罪"环眼贼，你累次渺视于我！"两人大打出手，百余合不分胜负。此时的张飞已经能与吕布战成旗鼓相当了。
小沛城外，张飞第四次与吕布对阵，吕布居然先派上高顺来消消张飞的锐气，见高顺"不能取胜"，又亲自接战，能把性情狂傲，目空一切的吕布逼到采取车轮战的方式，三国时代还有谁人？尽管如此，正斗间，吕布看到敌人援军赶到，"料难抵敌，引军东走"，这是吕布战斗生涯中唯一一次在单挑状态下选择撤退。就在这一刻，天下第一勇士的宝座易主，日薄西山的吕布悄然退位，张飞取而代之。
