从罪犯家属成为体制中人，也算是苦尽甘来，孝宗皇帝虽然为岳飞冤狱平反，却一切按制度来办，只是为岳飞后人安排了地位低下的武职，岳霖的承事郎之职是岳飞生前恩荫的，“右”字代表非科举、荫补出身。
据潭州（今湖南长沙）地方官奏疏记载，岳云死后，其妻巩氏拖儿挈女与小叔岳雷一家迁往潭州聚族而居。岳云在潭州有子二人，岳甫25岁，岳申22岁，女儿大娘24岁；岳雷有四个儿子、两个女儿：长子岳经21岁、次子岳纬20岁、三子岳纲14岁、四子岳纪12岁。长女岳二娘23岁，次女岳三娘17岁。
按两宋法定结婚年龄男为十五、女为十三计，因为长期拘管失去自由，岳云与岳雷的三个女儿都过了婚嫁年龄，成了大龄未婚女子。
岳霖长子岳琛、岳飞女婿高祚并补承信郎。岳飞女儿名叫安娘，据说在为父亲的冤案上访、奔走呼号时，为巡逻的军卒阻挠，一怒之下“抱银瓶坠井死”，因此民间称为银瓶娘子。
