公元399年，刘裕从军，成为北府军将领冠军将军孙无终的司马，后又转入刘牢之的麾下，担任参军，刘裕在每次作战中，他都披坚执锐，身先士卒，冲锋在前，在多次战争中，他的军事才能逐渐显现，智勇双全。
东晋自偏安以来，一直面临着北方的威胁，但淝水之战的胜利，让东晋暂时解决了外部威胁，孝武帝放松了警惕，这一不思进取，就是内部又出现了问题，朝中摄政王专权，导致国家局面更加混论，各地起义不断。作为因立下军功而崛起的刘裕，他被升任建武将军、彭城内史，成为东晋颇有威望的一员虎将。
公元402年，东晋都督桓玄爆发叛乱，朝廷派出司马元显为骠骑大将军，命刘牢之为前锋镇压这次叛乱，但两人竟然都被桓玄收买了，桓玄轻而易举地夺权了东晋大权，刘裕表面上服从，其实内地里已经在密谋平定此次叛乱，匡辅晋室。公元404年，刘裕以打猎为名，聚集了残余的一千七百多名北府士兵，在京口举行起义，平定此次叛乱。
