除了岳云和"银瓶小姐"小姐以外，岳飞的其余子女都被流放广南，跟随岳飞夫人李娃赶往烟瘴之地惠州，地方官员将他们安置在一座寺庙内，住在一处"仅足容身"的土屋内苦挨岁月，生活条件极其艰苦。
这一流放就是整整二十年的光阴。
赵构死去，继任的的宋孝宗不久即宣布为岳飞平反。这一年，李娃62岁，岳霖33岁，岳震28岁，岳霭24岁。
宋孝宗颁旨：三子岳霖复右承事郎（正九品、文职）、四子岳震、五子岳霭补保义郎（正九品、武职）。其中，岳霖的承事郎之职是岳飞生前恩荫的，"右"字代表非科举、荫补出身。
在这些年间，抑郁憔悴的二儿子岳雷由于亲眼目睹父兄惨死，有遭受广南烟瘴之地的荼毒，身体越来越差。没能撑到父亲平反昭雪的那一天，就病死在了流放之地。
