不过此时的贡祖文已经顾不得什么皇命难违了，他当即将岳霖带回家中藏了起来，连家人都没有告诉，过了风头之后，贡祖文马上辞官归隐，也是为了更好的将岳霖保护起来，他带着岳霖去了江苏，在一个小地方隐姓埋名生活了下来，他将岳霖视若己出、教他读书、练武，还为他娶了妻子，对岳霖十分好，后来宋孝宗即位，为岳飞正了名，四处寻找岳飞后裔，岳霖才终于认祖归宗，重新入朝为官。
所以说贡祖文对岳家是有大恩的，想必在岳霖的心里，贡祖文同样也是他的父亲，直到现在岳家的祠堂中还供奉有龚祖文的牌位。同族之间自然不能结亲，所以一直以来除了秦家以外，岳家也是绝不和贡家联姻的，因为他们本就是一家人。将军冒死救下岳飞之子，岳家感恩并立下祖训：两家人世代不能通婚！
