公元402年，司马父子讨伐拥兵自重的桓玄，任命刘牢之为前锋都督、征西将军，兼任江州刺史。桓玄出身谯国桓氏家族，大司马桓温之子，从小享有英名，是东晋士族阶层的代表人物，面对世家出身，在江南拥有庞大势力和声望的桓玄，刘牢之担心无法他抗衡，又考虑到消灭桓玄之后功盖天下，司马父子不一定会容忍自己，所以内心犹豫不决。
桓玄派刘牢之的族舅何穆劝他：从古至今，从来都是'狡兔死，猎狗烹；敌国破，谋臣亡。'像韩信、白起这样的名将，声威超过君主，建立的大功已经无法封赏，最终结局如何?现在您与桓公为敌，败了会遭灭族之灾，胜了功高盖主同样危险，与其头足异地，身败名裂，为天下俗人所耻笑，不如调转戈矛，保住自己的富贵，才能使自身高位固若金石，英雄美名天长地久。
就这样，既厌恶司马父子作为，又对士族贵族有敬畏之心的刘牢之，又一次被策反，投靠了桓玄，反戈一击，使得司马元显被杀，司马道子被流放。
桓玄掌握大权后，并没有真正信任刘牢之，仅仅任命刘牢之为征东将军、会稽太守，免除其徐、兖二州刺史，剥夺其对北府兵的指挥权，并将北府兵进行分解，编入诸桓统领的军事系统，这使得刘牢之一下子成了无根之水，无本之木。
