其实，岳家军虽然号称有10万之众，但其组成部分却各不相同。岳家军里有一只主力部队从始至终都是岳飞的嫡系部下，在岳飞领兵镇压南宋叛党之时，不断有义军加入岳家军。
因此，岳家军的内部实则有10余个兵营在列，每个兵营都有自己的领将。这支庞大的岳家军虽然一切听从岳飞的指挥和号令，但实质上却并没有融合成一个不分彼此的"大家庭"。
宋金议和后，岳飞的死讯也传遍了宋朝，宋高宗害怕岳家军起兵造反为岳飞报仇雪恨，就着意裁撤、分解、削弱岳家军：一部分精锐力量编入朝廷禁军；一部分就地裁员撤制；最后一部分誓死效忠岳飞的"硬骨头"则被发配流放到了边疆苦寒之地。
如此一来，宋高宗便不再担心岳家军谋反，可岳家军这只强悍骁勇的忠义之师，就永远地消失在了宋朝的大地上。
人们常说亡国之君不是太过软弱就是太过昏庸，作为北宋亡国的连带责任人，宋高宗坐拥几十万勤王军却不发兵援助、不率军阻截金兵北归之路，还冤杀抗金名将岳飞，设计瓦解了战无不胜的岳家军。因此，宋金战局的恶化有宋高宗的一份"功劳"，北宋亡国也与他脱不开干系。
