接下来的几年，岳飞转战于各地，收留了被金军打散的宋军余部和被金军强行征募的签军，逐渐形成了岳家军。岳家军纪律严明，训练有素，战斗力明显高于其余抗金军队。
岳飞一生的志向是北伐中原，收复河山，而在北伐之前，必须扫清后方的游寇，获得一个稳定的大后方。为此，岳飞花费了好几年时间，平定了李成、张用、曹成等游寇，并平息了吉州、虔州的叛乱。宋高宗将岳飞升为神武后军统制，并赐御书"精忠岳飞"锦旗。神武后军是岳家军的正式番号，统制级别非常高，相当于今天的军级干部了。
1134年，岳飞进行了第一次北伐，收复了襄阳六郡（襄阳府、郢州、随州、唐州、邓州、信阳军），被封为清远军节度使，湖北路荆、襄、潭州制置使。宋朝节度使为从二品，是一种荣誉性的虚衔，并不实际赴任。制置使是方面军的统帅，相当于今天的军区司令员。
这一年，岳飞年仅31岁，是有宋一代最年轻的制置使。
