不过在司马元显失败后，桓玄还是看穿刘牢之政治上的无能，他不是一个合格的领袖，刘牢之看重的是利益，所以桓玄即使收了刘牢之的兵权，元显既败，玄以牢之为征东将军、会稽太守，牢之乃叹曰：“始尔，便夺我兵，祸将至矣！到了这个时候才知道祸事临头也是太晚了，刘牢之想再次反叛桓玄投奔广陵相高雅之，在召集手下人商议的时候，发生了打脸的一幕，参军刘袭曰：“事不可者莫大于反，而将军往年反王兖州，近日反司马郎君，今复欲反桓公。一人而三反，岂得立也。”语毕，趋出，佐吏多散走。
可以说刘牢之反复无常多次反叛已经让部下都受不了了，刘牢之几次变阵营，谁敢支持他？他习惯做二五仔，不能要求每一个北府兵都做二五仔。眼见部下离散，加上儿子没有及时回来就自缢而亡了，可见刘牢之的大局观很有问题。刘牢之有足够左右天下的力量，却缺乏与之匹配的心态。他似乎一直都走在一条寻找一个好老板的路上，自己担当的魄力差了点。刘袭说的固然是漂亮话，但是作为领头人，尤其还是北府这样一支劲旅的领头人，你一而再再而三地转会变换阵营，你让下面的人很为难。我明明一发力就可以搞掂对手，可谁知道第二天睡醒了起床，昨天的对手会不会变成今天的大老板。没有当雄主的魄力，可偏偏怀璧其罪捏着北府，他的命运就只能是死了。
或许刘牢之自己也没想到，短短几年间，自己从一个流民帅，会变成左右天下的砝码。谢玄谢琰连续去世，在王恭之后他一下就变成了最强的军阀。面前是之前没人走过的路，学祖刘？不可能，国之重器怎么可能放出去，注定得不到士族支持。学陶侃？陶侃的部队可没有北府这么能打，士族更不可能让北府拥有一块可以自给自足的根基，那会让这支部队彻底失控。刘牢之没有刘裕那样自己制定游戏规则的魄力，也没有打破士寒障壁的勇气，跟着士族在别人的规则下，面对的对手个个都有破坏规则的打算，偏偏最守规矩的居然是刘牢之自己。他的性格造就了自己的命运，从他坐到北府大佬那一刻起，怎么选都是死路。
