他先事王恭为府司马，也为王恭出过力，397年，他还讨灭了因反对王恭而起兵的王廠。所以，被王恭仗之为爪牙。但王恭对他仅"以行阵武将相遇，礼之甚薄。"使自负才能的他深怀不满。利之所在，遂倒向司马元显，他在元显手下的活动主要为镇压孙恩起义，前述他在同农民军作战中是唯一保持不败的晋军将领，其对司马元显的"功绩"自可想见。
但孙恩起义被镇压下去后，东晋朝廷以司马元显为征讨大都督，讨伐手握重兵，时时要挟朝廷的荆州刺史桓玄时，身为前锋都督的刘牢之，明知以己之兵力与才力，"取玄如反手"，却又踌躇不前进而接受桓玄的收买，背叛司马元显，使北府兵不战而败。他的理由是
"虑平玄之后，功盖天下，必不为元显所容，与其如此，倒不如假手于玄，诛除执政，然后乘玄之隙，可以得志于天下。"
王夫之对他这一想法曰"其诈而愚也。"果然，他投桓玄之后不久，即被革去了兵权。这时他又反悔了，遂准备聚集力量，"以图再举。"但部下已纷纷离他而去，他也在众叛亲离中自缢而死。
且不说刘牢之先后投靠又先后背叛的王恭，司马元显、桓玄之流，在当时都是些"乱臣贼子"，对后世更无任何进步作用可言，刘牢之向背如何，都不影响后人对他的客观评价，但其作法实属不可取。其叛服无常的行为不仅最终断送了自己，也为世人所不齿。就连他多年的部下刘袭都指责他"一人而三反(一反王恭，再反司马元显，复反桓玄)，岂得立也!" 当时，刘敬宣转移家口时逾期未归，刘牢之以为其被刘袭杀害，所以，自缢而死了。桓玄却不想饶他，下令将其开棺斩首，露尸街头。到后来，刘裕打败桓玄后，才为刘牢之恢复了职位和封爵。
刘牢之勇武类吕布，北伐似后来岳飞，但又与他们有很大区别。他比吕布多些谋略，也比岳飞多些野心，只可惜在关键时候错投桓玄，最终落得身首异处的下场，如果他不投靠桓玄，始终抓牢手中的兵权，没准儿就没有后面刘裕的崛起了。
