岳飞在与长子岳云遇害后，他的亲属全都被发配岭南。他的三儿子岳霖在母亲李氏的掩护下逃脱出来。秦桧害怕逃脱的岳霖日后会为父报仇，于是命令各地方官通缉岳霖，务必要斩草除根。贡祖文在接到这个命令后，赶快带着自己的亲信先行寻找岳霖，以免他被其他人给抓获。皇天不负有心人，贡祖文终于在一片芦苇荡里找到了发高烧的岳霖。
贡祖文在岳霖的身上发现了李氏写给自己的信，"祖文兄如面，霖儿托据，来世当报"。看到这里他泪如雨下。他心里明白岳飞是被冤枉的，而李氏能在这个时候让岳霖来找自己，可见她是相信自己的为人。所以贡祖文决定，就是拼尽一切也要为岳飞留下一点血脉。
贡祖文抱着岳霖连夜赶回了家中，为了防止泄露消息，他悄悄的将岳霖藏身于军中。为了躲避秦桧的搜查和追杀，他第二天便向皇帝递交了辞呈。在获得批准之后，他立刻带着岳霖回到了徽州宣城贡家村隐居。后来为了安全，又举家搬迁到了曲阿县柳塘居住。
贡祖文将岳霖视为自己的亲生骨肉，亲自教他习文练武，让他学习天文地理各种知识。在贡祖文的苦心栽培下，岳霖也成长为一个能文能武的帅气小伙。到了成家立业的年纪，贡祖文又给岳霖娶了一个钮氏姑娘为妻。岳霖与钮姑娘二人相亲相爱，生下了四子一女。
等到宋高宗之子宋孝宗即位后，下令为岳飞平反，从此岳家沉冤得雪。而贡祖文抚养岳霖的事迹也被当地人传为美谈。岳氏后人为了感恩贡祖文的恩德，将贡家子女视为一家人。也立下了一个规矩：岳氏后人可与其他姓氏通婚，但决不能和贡氏子孙联姻。两家永远是兄弟姐妹。
