而且为了不引起怀疑，直接以年老体弱为理由，向朝廷辞官，回家归隐。隐居在当时十分偏僻的柳塘村，而且悉心教导岳霖，将其培养为跟他爹一样，能文能武，十分了得。时间到了公元1162年，宋孝宗十分崇敬岳飞的伟大，于是为其平反昭雪，而且将秦桧的党羽基本杀光，同时寻找岳飞的后人加以重用。
此时已成才的岳霖应召，出任大夫，后来做到兵部侍郎，广东经略安抚使等官职，可谓是泉下有知的岳飞也能瞑目了。同时为了感激贡祖文的救命之恩，岳家后人为其修建了"报本祠"，里面供奉了岳飞和贡祖文的牌位。而且后世，两家人亲如一家，因此规定世代不得通婚，现在这个祖训还在。
