随后，北府兵在桓玄的强势干涉下，渐渐风流云散，刘裕则因为能力出众而被桓玄委以重任。公元403年，孙恩旧部卢循再度起义，刘裕奉命领兵平叛，一举歼灭其义军主力，卢循被迫远遁。
刘裕杰出的能力，加上他并非是自己的旧部，使得桓玄对其总是万般提防，而桓玄的妻子认为刘裕为人中麟凤，必不会屈居人下，桓玄因此对刘裕起了杀心。刘裕在察觉到桓玄的心思之后，便开始偷偷谋划起义，公元404年二月，刘裕以打猎为名，前往北府兵此前的重要据点--京口，在这里聚集了一千余北府兵旧部，宣布起义，反抗桓楚政权的暴政。
刘裕在攻占京口之后，兵力不过数千，而桓楚政权却有着十数万大军，控制着南方大半的地区，孰强孰弱，一目了然。都在大家并不看好刘裕之时，刘裕却率军全歼了奉命镇压刘裕的吴甫之、皇甫敷所部大军，一举攻入了建康，桓玄只能逃回荆州。
此时的东晋王朝早已到了王朝末年，政治混乱，诸侯割据，百业废弛，民不聊生。刘裕以身作则，先是整顿了东晋中枢朝廷的风气，随后又迎回了被罢黜的晋安帝，恢复了晋王朝的法统。
