不过就算是这样困难，祖逖也没有打退堂鼓，凭借着司马睿给的一千幅铠甲，祖逖就率领本部人马孤军北伐，并以京口等地为基础建立大本营。
当时的河南之地形势异常复杂，各地坞堡主都凭借手中的力量各自为战，而对于祖逖根本没放在眼里，同时石勒的大军时常进犯河南之地。这个情况之下，祖逖自力更生，没粮产粮，同时缔结盟友，对于心有余而力不足的那些坞堡主也并未过多刁难，重点打击那些不肯的坞堡主则是坚决打击。
就这样祖逖在兖豫之地四年时间收复了不少西晋的失地，然而祖逖一心北伐，可后方的形势正岌岌可危，司马睿和王敦的内讧已经到了非常严重的地步，而当时王敦唯一不敢动手的原因正是因为祖逖的存在。
然而就在公元320年，东晋的另一个名将周访去世，而对于王敦来说少了一个心腹大患，所以他也加紧了步伐，这个时候司马睿为了对付王敦便想到了祖逖的军队，因为当时祖逖的部队是东晋最精锐的部队，根本不是王敦能比的。
