对于这么一个出身寒门（其实并不寒微，只是比之王谢来说要寒酸许多）还掌握数州军事的将领，东晋朝廷里有很多人是相当不喜欢的，这其中就包括接替桓冲成为上游统帅的桓温之子桓玄。
桓玄本就有把他爹桓温的事业发扬光大的志向，又和王恭是好朋友，对于老友的死极其不满，于是上书要求朝廷处死刘牢之。而刘牢之呢？也不含糊，直接带着北府兵全部家当开赴京城，刚走到新亭就接到诏书：我们已经把桓玄批评了，你们以后要搞好团结，回去吧。
刘牢之也没多想，带着部队就回广陵了，还在几年后狠狠地收拾了浙江沿海一带的孙恩卢循之乱。在此过程中还发现了一个优秀的本家小兄弟，作战极其勇猛。他迅速提拔了这位年轻将领，并且委以重任。
而这个将军单名一个裕，小名寄奴。
