后来刘裕投军，成为北府军将领孙无忠的司马。晋安帝隆安三年十一月，孙恩在会稽起兵反晋，东南八郡纷纷响应。东晋朝廷大惊，急忙派卫将军谢琰、前将军刘牢之前往镇压。在孙无忠的推荐下，刘裕转投前将军刘牢之麾下。十二月，刘牢之率部抵达吴地，派遣刘裕率几十人前去侦查孙恩起义军下落。没想到，刘裕的侦查部队却碰上了一支几千人的起义军。刘裕部下死伤大半，他还在死命抵抗。就在他快要撑不住时，刘牢之的儿子刘敬宣带骑兵主力赶来，斩杀敌人千余人。刘裕乘胜追击，平定山阴，而孙恩则逃回海上。
在之后的三年，刘裕一直在与孙恩交手。而孙恩则像块磨刀石，将刘裕这把刚刚出鞘的刀越磨越快。最终，刘裕在隆安五年十一月，将孙恩逼得跳海自杀，而起义也以失败告终。而孙恩的起兵也消耗了东晋大量的兵力，导致京防空虚，给了盘踞在长江上游的桓玄机会。后来骠骑大将军司马元显起兵讨伐桓玄，桓玄也派人攻打司马元显。司马元显命刘牢之带兵防御，刘裕也一同前往。
后来桓玄攻入建康，杀司马元显，收刘牢之兵权。刘牢之惧祸而逃，后自缢身亡。刘牢之死后，刘裕为了活命暂时依附于桓玄。桓玄篡位称帝后，因刘裕在北府军中素有威望，所以对他青睐有加。桓玄的妻子提醒他："刘裕行止有龙势虎志，看问题不同凡响，必定不会久居人下，宜及早除之。"但桓玄却因还要用刘裕荡平中原，所以没有对他下杀心。而刘裕也知道桓玄不会信任他，所以暗中联络北府军旧部，在元兴三年二月，以打猎为名，在京口里举兵起义。
在不到两个月的时间内，刘裕便击溃桓玄军队，将桓玄吓得弃城西逃。后来在王谧等人的推荐下，刘裕出任使持节、都督扬州、徐州、兖州等八州军事，并整饬朝纲，一改朝堂往日风气。在迎接晋安帝复位，斩杀桓玄后，刘裕才开始了自己真正的霸业。此后，他不仅消灭了桓楚、西蜀、卢循、刘毅、司马休之等割据势力，使南方出现百年难得一见的大一统局面。而且还消灭北方的南燕、后秦，降服仇池，又以却月阵大破北魏，收复淮北、山东、河南、关中等地。最为关键的是，还光复了洛阳、长安二都。在他建立宋朝（史称刘宋）后，又派兵征服林邑国（今越南境内一古国），使其全境归附，开创了江左六朝疆域最为辽阔的时期。说他气吞万里如虎，一点都不夸张。
