岳飞因为是犯了谋反重罪，所以他的家人都受到了牵连，岳飞的长子岳云，因为是岳飞手下的大将，所以和岳飞一起以谋反的罪名被处死了，其他的4个儿子，次子岳雷、三子岳霖、四子岳震、五子岳霆，以及岳飞的妻子李氏和女儿岳安娘，都被发配到了岭南。文学作品中岳飞还有个小女儿岳银瓶，岳飞死后她伤心欲绝跳井自杀了，但岳银瓶正史没有记载，可能是杜撰的。
宋孝宗时期，他为了抗金的需要，给抗金名将岳飞平反了，除了次子岳雷，因悲愤难平，去世于岭南外，其他几个儿子，岳飞被沉冤昭雪后，都被朝廷封官，结局不错，岳飞的妻子李娃也被封为楚国夫人。
岳飞死后，韩世忠、刘琦等人也交出兵权，逐渐隐退了，他们对宋高宗构不成威胁了，但是秦桧壮大了，朝中大部分官员都是秦桧的党羽，连后宫，不少嫔妃、宫女、太监都被秦桧收买，这让秦桧成了宋高宗最忌惮的人，他害怕秦桧对自己图谋不轨，经常身上带着一把匕首防身。
秦桧弄权一生，晚年病重的时候，还想让儿子秦熺接替丞相，所以他们没少让党羽上书，劝说宋高宗立秦熺为相。秦桧病重后，赵构亲自去看他，秦熺以为丞相已是他的囊中之物了，所以试探性地问，将来谁会接替相位，但赵构只是冷冷的说，这不是你该操心的事，然后转身离开了。
回去后，赵构立马解除了秦桧父子的官职，得知这个消息后，秦桧在悲痛中离世了，而他的儿子秦熺再也没有得到赵构的重用。秦桧的一众党羽，也遭到了赵构的打压。秦熺失去权力后，不久也郁郁而终。
宋孝宗时期，他给岳飞平反后，这让秦桧成了陷害忠良的奸佞，所以秦桧的子孙都遭到了世人的痛骂。不过秦桧是个软骨的求和者，他有个曾孙秦钜，却是很有骨气的人。金人入侵蕲州时，当时南宋守军实力较弱，人们劝他弃城而逃，但秦钜选择了死战到底，并在城破后，自焚为国捐躯，让人唏嘘不已。
