岳飞第二任妻子是李氏，他为岳飞生下三个儿子，岳飞被害时，三子岳霖12岁，四子岳震7岁，五子岳霭3岁，岳飞死后妻儿被悉数发配岭南，他们过着被囚禁的生活，完全失去人身自由，在惠州那种烟瘴之地，能活命已经很不容易，自由只是奢望，幸运的是，岳飞的这三个儿子都活了下来。
岳飞死后21年，宋孝宗即位，岳飞的冤案得到昭雪，此时岳霖已经33岁，岳震28岁，岳霭24岁，但宋孝宗只为岳飞的三个儿子安排了地位低下的官职，岳霖为右承事郎（正九品）、岳震、岳霭补保义郎（正九品），一代名将岳飞之后，竟然只给安排了这么小小的官，而且岳飞后人也大都弃武从文，没有得到朝廷重用。
