这个时候，有个人叫做曹豹，身为陶谦故将的他，在这段时间里面应该是与张飞发生了一些矛盾，而这场矛盾的结局弄得非常大，史书上也众说纷纭。按照《三国志》的说法是"吕布乘虚袭下邳。下邳守将曹豹反，间迎布。布虏先主妻子，先主转军海西。"也就是说，曹豹私通吕布，一举拿下城池。
但是在《资治通鉴》和《英雄记》里面，曹豹的下场就不怎么好，原文"下邳相曹豹，陶谦故将也，与张飞相失，飞杀之，城中乖乱。袁术与吕布书，劝令袭下邳，许助以军粮。布大喜，引军水陆东下。备中郎将丹杨许耽开门迎之。张飞败走，布虏备妻子及将吏家口。"交代曹豹在这场矛盾中被张飞火并，本来就要没什么事的时候，袁术一边和刘备打仗，一边还搞了搞诱导工作，劝说吕布反水（其实这里不得不说，袁术的这场仗到这里为止打的着实漂亮，内外兼攻，非常顺利的就把刘备打入深渊）。
不过，不管哪部分的历史是确实的，吕布都成功的在这次的行动中拿下了徐州的主导权，更俘虏了刘备的家属。这里需要提及的一点是，大部分人都只看到了吕布的反水无情，实际上，吕布的行为作风已经较之前有所提高，极大地收敛了自己之前的"边鄙之气"，没有对刘备的家属做任何不好的举动。可以说还是有所进步的。
兖州的夺取失败后，吕布拿到了徐州，也是小有所傲，所以在袁术食言之后，吕布一气之下又把自己刚刚背叛过的刘备给迎了回来，让其担任豫州刺史，自己则自称徐州牧，一时间也算是缓过气来了。
