不仅如此，宋高宗还得知岳飞说过的一句狠话——“本朝不到30岁被封为节度使者只有两个人，一位是太祖皇帝，另一位就是我。”这本是岳飞跟属下说着玩的，传到赵构那就成了想造反。因为赵匡胤正是在被封为节度使那年发起兵变的，这才能够黄袍加身，赵构就越想越害怕。
想除掉岳飞的宋高宗肯定会忌惮岳家军的强悍实力，他先是找各种理由换掉主要将领，并给岳家军内部制造矛盾，而后遣散岳府中的幕僚，陷害岳飞的亲信。而岳飞忠君思想太重，最后也没有向皇帝抱怨什么，他更多地还是想要夺回属于大宋的江山。
在宋高宗将各种无耻手段施加在岳家军上之后，岳飞父子也被他和秦桧给设计杀害了。岳家军还没反应过来就遭到赵构强行改编，南方军队被迫接受改编，而其中由河北流民组成的岳家军却不愿就此称臣。这批军队与河北义军联合起来抵抗女真，赵构却主动放弃北方大部分地区，切断义军与岳家军的支援部队，最终导致义军和岳家军全军覆没，名震一时的岳家军就这样在皇帝手中消失了。
