然而在初平四年（193年）秋，曹操的父亲曹嵩在徐州被杀，曹操以替父报仇为由，起兵讨伐陶谦。在战斗中，丹阳兵虽然勇猛，但敌不过曹操的智谋以及其帐下人数众多且极其凶残的青州兵。最终，徐州多地沦陷，数十万百姓惨遭曹操屠戮，杀得鸡犬不留。在陶谦的一再请求下，刘备与田楷率兵来救，最终逐走粮食吃尽的曹军。
从此以后，刘备以客将的身份驻留徐州，被陶谦视为万里长城。兴平元年（194年）四月，曹操再度率领大军南攻徐州，刘备不幸战败，而徐州诸郡纷纷陷落。陶谦见势头不妙，从而急火攻心，最终病死于床榻上。
临死前，陶谦认为只有刘备才能安定徐州。因此当陶谦去世后，他的幕僚率领百姓迎立刘备，将之推举为新的徐州牧。而陶谦手下的数千丹阳兵，也成了刘备的私属。然而与热情欢迎刘备的徐州豪强相比，丹阳兵似乎并不怎么认同这位新主人。
建安元年（196年），刘备与袁术在盱眙、淮阴相持，将心腹--张飞留在徐州下邳防守。然而张飞为人凶残、暴而无恩，喜欢鞭笞健儿，同时还喜欢喝酒闹事，打骂同僚。在徐州留守期间，张飞与丹阳兵首领曹豹发生了冲突。然而曹豹哪是号称为"万人敌"的张飞的对手，最终被当场格杀。
