岳飞组建岳家军后，一面积极训练队伍，严肃军纪，抗击金人，一面又在靖康之耻发生后打出"收复山河，迎回二圣"的口号，由于岳家军多次取得了胜利，并且有着"冻死不拆屋，饿死不掳掠"的严明军纪，很多人就聚集到岳飞麾下参加了岳家军。就这样，岳家军人数得到迅速扩充，据学者考证，岳家军最多时达到了十万人。
山河破碎之际，总会有各种义士或组织自发的组织起来抗击金人，在岳飞抗击金人的生涯中，就有很多义士或组织打着岳家军的名义或口头宣布加入岳家军，因此我们所说的岳家军并不是一支具体的队伍，岳飞也不可能完全的领导这些义士或组织。
而这些义士或组织大多为河北、山东等地人，我们都知道，燕赵之地自古多豪杰，山河破碎，加上岳飞的号召，他们自然起来抗击敌人。这其中最出名的便是河北的义军及梁兴（又被大家称为梁小哥）领导下的忠义社。岳飞北伐开始后，一面继续招募河北流民，一面又积极派人联络河北各路义军、梁兴的忠义社等，在岳飞的号召下，这些人都积极加入岳家军与岳飞一起抗击金军。
在岳飞的全力领导下，岳家军攻城略地，而金兀术的金军却节节败退。然而，正当岳飞要直捣黄龙时，宋高宗赵构却在一天内连发十二道金牌将其追回，岳飞北伐也就此宣告失败。不久后，奸臣秦桧就以莫须有的罪名将岳飞斩于风波亭，岳飞之子岳云及亲信张宪也被斩于街口。
