而刘裕则借此机会转投到淝水之战名将刘牢之的门下，随军参与平叛，刘裕作战时相当勇猛，每每都是冲锋陷阵，奋勇杀敌，他头脑清晰，非常有谋略，并不只是凭蛮力取胜，特别擅长以少胜多，在转战三吴的几年中，他的军事才能一步一步显露出来。
和当时很多将领纵容手下士兵暴力掠夺，坑害百姓不同，只有刘裕治军整肃，法纪严明 ，为人所称道，最终孙恩在他率水军持续的追击下，被迫投海而死，而刘裕也因为平叛有功，被封为建武将军，领下邳太守，自此，他在北府军中开始名声鹊起，崭露头角。
元兴元年，桓温的儿子桓玄举兵东下，攻入了建康，并杀了实际上执掌东晋政圌权的司马元显，刘裕审时度势，暂时投靠桓玄，伺机行事，转年十二月，桓玄篡位，但是因为刘裕在北府军中的威望很高，所以他对刘裕很是看重，经常对人说："我欲荡平中原，非此人不行"。
不过，到了元兴三年，刘裕先是以打猎为名，聚集百余人在京囗发难，杀死了桓修，众人推举刘裕为盟主，传檄四方，各地纷纷响应，到了六月，刘裕诛杀了桓玄，晋安帝在江陵复位。
