既然朝野都对桓玄失去了信心，那么谁来推翻他呢？按照常理来讲，首当其冲的就是那些跨州连郡的世族大家们了。遗憾的是，经过几十年的安逸享受，世族大家不论在身体上还是精神上都已经腐朽堕落，变得庸碌无能了。所以，能够推翻桓玄的人只能在军队里。
这些人就是没有被桓玄斩草除根的以刘裕为首的北府军旧部，桓玄的妻子早就提醒过说刘裕有野心，但恒玄打算等到平定中原后在收拾刘裕。永始二年（404年）二月二十七日，刘裕以打猎为名，和何无忌纠合了100多人的小武装。次日早晨，京口城门刚开。何无忌身穿传诏书的服装，诈称朝廷使者，当先进城，100多人跟着一拥而入。守将桓修大概连真假还没有弄清楚，便被砍了脑袋。同日，京口对岸由桓弘驻防的广陵也发生了政变。刘毅、孟昶和刘裕的弟弟刘道规带几十名壮士冲入桓弘府中，将桓弘杀死。考虑到兵力薄弱难以坚守广陵，刘毅随即率众渡江，与刘裕在京口会合，队伍壮大到1700多人。
桓玄的灭亡
刘裕整顿完毕后，主动进攻建康。桓玄仓促部署应对。他主要做了两个措施，第一是赦免扬、豫、徐、兖、青、冀六州的百姓，收揽人心；第二是任命桓谦为征讨都督，派吴甫之、皇甫敷两人分别率军北上迎战刘裕。
三月，刘裕和吴甫之在江城遭遇。吴甫之是桓玄的骁将，带领的部队也是百战精兵。但刘裕带着不怕死的决心，大呼着亲身冲入敌阵。在他带领下，起义军奋勇前进，阵斩了吴甫之，击溃了桓玄的一支部队。刘裕进军到罗落桥的时候，皇甫敷率另一支部队数千人恭候迎战了。刘裕和一同起兵的檀凭之分别率领一支部队，冲向敌阵，将皇甫敷斩首。
