而后的朱仙镇时朝廷连发了12道金字牌递发的班师诏，才让岳飞不痛快班师撤军。绍兴十一年，金国再无力攻伐南宋的情况下，而此时的不听话的岳飞活着成了宋高宗赵构的最大心病。当然杀害岳飞之前，这赵构秦桧一党的人也是做足了功课，先是将岳家军中最精锐的"背崽"军编入御林军，"踏白"军编入其他将领的麾下。其次利用岳家军内部矛盾，威逼利诱都统制王贵、副统制王俊先出面首告张宪"谋反"，继而牵连岳飞。
这下是连全盘端岳飞军队的了。然后用王贵代岳飞之职，瓦解了一切军队哗变的可能。再者还有大将张俊盯着岳家军，岳飞残余的部下没有一点哗变报仇的希望。岳飞被判入狱时宋史有记载，大理寺丞李若朴何彦猷、大理卿薛仁辅并言飞无罪，禼俱劾去。宗正卿士亻褭请以百口保飞，禼亦劾之，窜死建州。
布衣刘允升上书讼飞冤，下棘寺以死。凡傅成其狱者，皆迁转有差。为岳飞求情的人有关系的人全遭了殃。而且岳家也没有其他势力。有能力的儿子岳云和张宪一同不杀害。（注：岳云宋史记载为岳飞养子。）而当时的岳飞的长子岳雷仅16岁，也没有岳飞岳云那样的武功天赋和军事才能，而其他三个儿子更不用提了。
当然在岳家的子孙在宋高宗赵构而后的几年里成了重点关注对象，岳家一门一同都被发配到了岭南。所以岳家后代，没有复仇的机会，也没有复仇的能力。直至孝宗皇帝赵瑗继位起用主战派人士，锐意收复中原；顺势为岳飞平反，又让岳家四兄弟入朝为官。
