30多岁前，刘裕平平无奇，不过是因五胡之乱，侨居江南的百姓之一。乱世给刘裕飞黄腾达的机会，成为刘牢之麾下参军。刘裕先是孙无终的司马，孙无终参与东晋抗击前秦的淝水之战，刘裕是否加入其中，没有确切记载。
淝水之战发生于公元383年，而刘裕成为刘牢之参军则是399年，刘裕在这十六年间默默无闻，在历史中刚一出场就令人大吃一惊。东晋孙恩作乱，朝廷命谢琰、刘牢之率军镇压。谢琰是谢安的儿子，在谢安、谢玄死后，对北府军有一定的控制力，而北府军算是东晋朝廷能控制的一支强军。这个时候，刘裕来到刘牢之麾下。
知己知彼，百战不殆。刘牢之派刘裕带着数十人前去侦查孙恩贼众。《宋书·武帝本纪》记载："会遇贼至，众数千人，高祖（刘裕）便进与战"。看到数千人，刘裕不退反进，大杀四方，"所将人多死，而战意方厉，手奋长刀，所杀伤甚众"。
