因此，秦桧并没有收回他的罪恶之手，反而把目标对准了岳飞的家人。
根据南宋王明清所撰的《玉照新志》所记载，岳飞的长子岳云在二十三岁的时候跟父亲一起死于冤案。也就是说岳飞被陷害惨死的时候，他的长子岳云就直接被连累致死了。而他十七岁的次子岳雷以及十二岁的岳霖还有七岁的岳震全部被流放到了惠州。
从史料中的记载来看，岳飞妻儿的遭遇基本上可以断定为背后有秦桧在指使，地方的官员遵从"上面"的意思，岳雷、岳霖还有岳震全部被关押在一出寺庙的小茅屋中，而且这个小茅屋清苦到"仅能容身"的程度。
最关键的是，岳飞的三个儿子都被人一直监视着，被限制了人身自由。后来没多久，岳雷就因备受打击而含恨去世。
