与范宗尹招安匪盗的政策出台大略同期，岳飞的部队正面临着沦为匪盗的危险--淮河流域最大的抗金军团首领杜充突然投降，隶属于杜充的岳飞无家可归，只能向南流浪，更多的同僚则就地转化为盗贼，邀请岳飞上山入伙者络绎不绝。
这段流亡经历，对"岳家军"的成型至关重要。在此之前，岳飞一直是体制内的士兵或者将官；杜充的投降将岳飞和他的部队从体制中踢了出去。当部队结束流浪、再次回到体制内，岳飞和他所率领的部队，已在流浪中建立起了深厚的私人纽带。
建炎四年（1130年），岳飞参与了收复建康府的战役。趁金军主力在建康府江面与韩世忠水师激战之际，岳家军在清水亭、牛头山等地接连战胜金军余部。收复建康府，使岳飞受到朝野瞩目，不再是一名默默无闻的"游军"将领，并有幸得到了赵构的接见。
图：《中兴四将图》之韩世忠（左）与刘光世（右）
