当时其他诸侯也都对项羽不满,故而都加入了刘邦的集团,因此,项羽处于十分孤立地位;刘邦增调在关中的周勃、樊哙、夏侯婴等部至洛阳集中。并乘项羽胶着于城阳之际,率诸侯联军约计五十六万人向守备空虚的楚都彭城进攻;当时彭城,守兵寥寥,所有精兵猛将,都随项羽伐齐,只剩老弱数千留守城中,听说刘邦军进城,纷纷逃散。
此时,项羽陷入前所未有的危机中,就连都城都被刘邦所占;面对如此险恶的政治,军事环境,项羽制订了一个大胆的战略计划。留下诸将攻齐,自率精骑三万疾驰南下,由鲁瑕丘击破樊哙等军后,即在胡陵至肖县采取包围闪击。肖县东南有刘邦兵数营扎住。项羽军夜间抵肖,利用拂晓,由西向东反击汉军侧背,早晨开始进攻,与汉军展开大战,中午便大破汉军。
汉军对项羽军的突然袭击,无法组织有效的抵抗,自相践踏,乱作一团,被项羽军于彭城近郊斩杀10余万人。刘邦大败,项羽从后追击,汉兵在谷、泗水二水被歼十余万。刘邦继续南走,想利用彭城南吕梁山区以资抵抗,但因项羽的猛烈追击而不能立足,又杀毙几万。
项羽军追击汉逃兵至灵壁以东的睢水上,再斩杀汉军10余万人。刘邦军逃入睢水,溺死者不计其数,"睢水为之不流"。项羽军将刘邦及其残部包围了三层,正待聚歼之际,忽然西北大风猛袭而来,飞沙走石,树木连根拔起,一时间天昏地暗,吹打得项羽军阵营混乱。刘邦趁此机会,仅带10余名骑兵突围而逃。其父、其妻被楚军俘获,汉军几乎全军覆灭。