次子名叫岳雷，当时也与哥哥岳云一同被捕入狱，侥幸留得一条性命，然而在发配途中就在愤恨之中离开了人世。当时他们发配的岭南，远不像现在这样繁华富庶，不仅人烟稀少，而且瘴气横行，他们在那里一点人身自由都没有，每月都得上报存亡情况，只能在艰苦煎熬中度日。
当时李氏带在身边的只有三个孩子，分别叫岳霖、岳震、岳霆，年龄也只有12岁、7岁和3岁，可以说是老的老、小的小。但在秦桧的重点关照之下，他们一家人只能住茅屋、吃糙米，而且数量极少，能勉强充饥就不错了。不过虽然条件艰苦，但李氏却依然能够做到''居患难不改幽闲之操''，为岳家守住了门户，保住了岳氏一族的血脉，受到了后人的称赞。
