杀死王恭之后，杨佺期、桓玄率部威逼京师，并上表为王恭申辩，要求朝廷诛杀刘牢之。刘牢之也率领"北府军"到了京城与二人对峙，后来，杨佺期、桓玄接受了朝廷的任命，回到了各自的任所。后来，司马道子整天喝酒，不理朝政，他儿子司马元显接替了他的位子。司马元显决定发兵讨伐拥兵叛乱的桓玄。
于是就任命刘牢之为先锋，刘牢之觉得桓玄从小享有威名，如今又控制着江南楚地，担心无法打败他，同时又考虑到消灭桓玄之后，功盖天下，担心司马元显不会容忍他的存在，于是犹豫不决，在不得已才率"北府军"将士出征。桓玄就派人劝说刘牢之说："打败了会有灭族之祸，打胜了同样会有灭族之灾，还不如倒戈，以保全自己的富贵。
在桓玄打败了谯王司马尚之之后，就接受了桓玄的劝说，并派儿子刘敬宣向桓玄投降。当时刘裕与刘牢之的外甥何无忌都是极力劝阻的，但是刘牢之就是不听。桓玄胜利之后，把司马元显抓住了，就杀死了他们一家子。在掌握朝政之后，开始夺了刘牢之的军权，并打算杀死他的儿子刘敬宣。
刘牢之觉得这样下去迟早要被桓玄杀死，于是准备起兵反叛桓玄。北府军参军刘袭说："不能做的事莫过于反叛，而将军早年反王恭，不久以前反司马元显，如今又打算反桓玄。一个人一生当中三次反叛，怎能够立足于天地之间呢！"说完之后，起身离开了刘牢之。刘牢之手下其他的将领，也纷纷离开刘牢之。而儿子刘敬宣在此之前返回京口转移家眷，至今未归。有传言说已经被桓玄杀死了，于是心灰意冷之下，上吊自缢而死。
