刘备得知下邳失守后带兵返回下邳。他的兵马也被吕布给打败了。刘备张飞聚集战败失散的士卒向东进取广陵与袁术交战，又一次被战败了。
后来由于形势所迫刘备只能依附吕布，吕布让刘备驻军小沛，还了刘备妻小。刘备驻扎在小沛后发展很快，不久就聚众万余人。198年吕布用来购买军马的黄金被刘备的部下抢走了。吕布派遣高顺等人攻打刘备，刘备不能抵挡就向曹操求救。曹操派夏侯惇前来救援刘备但也被高顺击败。不久高顺等人彻底击溃刘备军。刘备失去了立足之地只得携张飞等人投奔曹操。刘备张飞跟从曹操进攻吕布。吕布败亡后张飞被任命为中郎将。
200年刘备衣带诏事情泄漏就率领关羽张飞逃走，他们杀了徐州刺史车胄夺了徐州。刘备让关羽据守下邳，自己与张飞屯小沛。曹操派刘岱王忠前来攻打关羽张飞但被他们击败。后来曹操亲自出马，刘备战败，关羽被擒，刘备与张飞逃奔袁绍。
201年张飞与刘备在汝南联结刘辟、龚都等人扰乱曹操后方，许都以南纷纷响应。曹操派蔡阳前来攻打，但被刘备所杀。后来刘备被曹仁击败，张飞随刘备投奔荆州刘表，驻扎新野。
