秦桧勾结张俊利用岳家军内部矛盾，引诱都统制王贵、副统制王俊等人出面诬陷岳飞的主要助手张宪"谋反"，进而牵连岳飞和岳云。历经数月的严刑拷打，岳飞三人宁死不屈，秦桧等人只能捏造了"指斥乘舆"、"坐观胜负"、"谋反"等数条罪名至岳飞于死地。公元1142年1月27日，宋高宗赵构下旨"岳飞赐死，岳云和张宪斩首。"一代名将冤死于风波亭，百姓们闻之痛哭流涕。岳云即长子，冤狱平反后，封岳云为忠义候，刷清冤案已经是宋孝宗时候的事情了。次子岳雷，父被害后，遣送至惠州监视，抑郁而死。三子岳霖在父亲遇害时正值总角之年，还是个孩子。他见证了平反的时刻，他与其子编纂了岳飞的史料。四子岳震， 五子岳霆也被流放，后在朝廷为官。秦桧遣吏抄没岳家，只得锁铠兜鍪，铜弩镔刀弓剑鞍辔，及布绢若干匹，粟麦若干斛。
岳飞一生娶了两任妻子，刘氏和李氏，一共生下了5男2女，除长子岳云一起遇害后。岳飞妻李娃时年41岁。岳飞死后，到孝宗朝，二十一年间，李娃领着岳飞的子女在岭南苦度日月，他们遭受的是对流放人最为严厉的编管刑，严格限制人身自由，需要每月都到监管人事处报道。次子岳雷在被捕时被证明与"谋反"无关，被派入狱中照顾父亲岳飞和兄长岳云，岳飞岳云被杀之后，岳雷被发配到惠州拘管，在发配途中含恨而终。三子岳霖，岳飞被害时年仅12岁，其中还有7岁的弟弟岳震、3岁的弟弟岳蔼(后改名岳霆)跟他们的母亲一起被流放到惠州，母子四人被当地官府安置在寺庙里一个非常狭小的茅屋中。
