前线的失败使桓玄大惊失色，他一面找术士诅咒刘裕，一面收拢两万军队，派遣桓谦、何澹之屯东陵，卞范之屯覆舟山西面，准备战斗。刘裕推进到覆舟山东面后，让将士们饱餐一顿后，抛弃余粮，以破釜沉舟之势对桓军发动攻势。他选派年老羸弱的人在蒋山上分张旗帜，然后指挥部队分道进攻。桓军的侦察兵看到后，以为刘裕军队人数众多，桓玄更担心了，加派庾颐之带领建康城内的精兵增援前线。
决战正式开始，刘裕、刘毅等将领身先士卒，直前冲击。将士人人死战，喊声惊天动地。刘裕见东北风急，就沿途放火焚烧。桓军士气低落，刘裕等人越战越勇，结果桓谦等诸军纷纷后逃。城内，桓玄集合亲信数千人，扬言要出城与刘裕决一死战，暗地里带着儿子桓升、侄子桓浚等出建康西掖门，到达石头城，坐上事先准备好的小船，向长江上游逃去。建康落入刘裕手中，周边郡县也纷纷反正。起兵不满一个月，他就成了胜利者。
桓玄退出建康后，到浔阳挟持了晋安帝司马德宗，继续向西逃回江陵。对外，桓玄担心兵败如山倒。他继续以大楚皇帝自居，要和刘裕争夺天下。
西撤后，桓玄唯恐政令不通、法令不肃，施行严刑峻法来整肃内部，部众反而愈加离心。逃亡途中，桓玄开始编辑起居注（记载帝王日常言行的档案），说到被刘裕打败的内容，他自称经略指授算无遗策，说是诸将不听指挥，以致失败。
