公元1142年，正当岳飞率领他的岳家军准备收复失地、迎回二帝时，却被赵构以12道金牌仓促召回，最终岳飞被以"无须有"的罪名处死，连同岳飞一起惨死的还有他23岁的儿子岳云，在岳飞死后，他的家人也都遭到流放，很多都死在了流放的途中，在岳飞死后很长的一段时间，他的后代都蒙受着不白之冤。
岳飞死后，他的后代为了躲避秦桧的迫害，不得不改名换姓，从此隐姓埋名，除了本身的"岳"姓外，还有其他三种姓，第一种就是就是"李"姓，岳飞死后，岳飞的仆人带着岳飞的小儿子前去投奔青海的李将军，于是这一支岳飞的后裔就改姓"李"，当然还有另外一种原因，那就是岳飞的妻子李晓娥也是"李"姓，后来这支"李"姓家族迁往韩国，如今在韩国还有不少李姓家族的人，他们都声称自己的岳飞的后代，也是有一定的依据的。
除了李姓外，有的岳飞后人干脆将"岳"字拆开来，因此岳飞的后代还有"山"姓和"乐"姓两种。
到了宋孝宗时期，朝廷开始为岳飞平反，最终岳飞得以平反昭雪，岳飞的后人也不用东躲西藏了，但是为了方便，岳飞的后人仍沿用改过之后的姓氏，如今，岳飞的后人也分布在全国各地，但是每当岳飞诞辰之日，他们都会从全国各地相聚在一起，以纪念这位共同的民族英雄。
