好在此时援军赶到，把他也救了出来。经此一战，他在军中享有盛誉，并逐渐在诸位将领中脱颖而出。他不仅作战勇敢，而且军纪严明，为此他的军队也得到了老百姓的认可与拥戴。在刘牢之丢掉兵权之后，他也是审时度势投到了桓玄的门下。与其说他是在改换门庭，倒不说说他是在明哲保身。
经过几年的韬光养晦之后，他看到自己的权力有可能被削弱，再加上称帝的桓玄不得人心，为此他就借着狩猎的机会，带着部下选择了举兵起事。其实当时有很多人都是心怀不满，只是不敢发作而已，有了他的率先发难，天下各府州县纷纷响应，桓玄也在顷刻间土崩瓦解，这也就是辛弃疾在词中追忆他时所赞叹的"想当年，金戈铁马，气吞万里如虎"。
东晋皇室感念他的功绩，就对他颇为重用，也使得他逐渐掌控了朝政大权，南燕、后秦等周边强敌也都悉数被他所率领的大军给灭掉。随着他的声望日隆，封侯拜爵也没有放在眼里。尽管后来他被封为宋王，享受着皇帝一样的待遇，但称帝也不过是水到渠成的事情。
