徐州下辖琅琊郡、彭城国、下邳国、东海郡、广陵郡五个郡国，其中琅琊郡是臧霸等人的地盘，广陵郡靠近扬州，也基本不在徐州控制范围内。如此复杂的内部形势，即使是陶谦活着的时候，也是勉力维持，更何况刚刚到位的刘备。
三、刘备自身名望、实力不够
公元194年刘备入主徐州时，不过刚刚三十多岁，而且不是真正的士族出身，只有一个"烂大街"的皇室宗亲身份，还不如他的仁义之名好使。所以虽然糜竺、陈登等人迎刘备入主徐州，首先考虑也是自身宗族的利益。
除了名望，刘备自身军事实力也不够，刘备当初来徐州救援陶谦，所带兵力不过千余人还有一些幽州乌丸杂胡骑，到徐州后，陶谦又给刘备增丹杨兵四千。就算刘备不断招兵买马，兵力也不会超过两万人，而且没等刘备好好经营，袁术就派兵来进攻徐州了。
正由于自身实力不足，所以刘备无法有效整合徐州的全部实力为自己所用。糜竺倒是真心想帮助刘备成大事的，不但拿出巨额的家财，帮刘备筹措军费，还把妹子嫁给了刘备。但陈登却不是真心帮助刘备，至少不是全心全意帮助刘备的，这从他后来的表现可以看出。占据徐州东北部地区的臧霸虽然表示没有反对，但是也谈不上多支持刘备。
更关键的是丹阳兵的态度。陶谦遗留下来的，以丹阳兵为主的军队势力却是反对刘备的。陶谦死后，丹阳兵全部交给了许耽、曹豹等老部下。可陶谦把徐州送给刘备，却违背了他们的心意。许耽、曹豹等丹阳兵将领最希望的是，陶谦那不成才的儿子继任徐州牧，这样的话，他们就能挟陶谦之子以令徐州。
综合以上三个方面的因素，当袁术进攻徐州，刘备领兵迎击，内忧外患之际，张飞再来点一把小火，丹阳兵干脆直接选择了迎吕布，陈登等当地豪族选择了沉默，臧霸等人也选择和吕布合作。所以刘备，只能继续漂泊了…
