原来，在岳飞被害之后，其家人全部被流放到了岭南，而三子岳霖侥幸逃脱。而就在这被搜捕的危急时刻，岳飞的一位战友贡祖文出现了。
在得知岳飞被害以及岳霖逃脱的消息后，贡祖文急忙寻找到岳霖，并将其保护起来。甚至于为了将这岳家的血脉保住，贡家全家迁到偏僻的地方隐居，一直等到了岳飞平反的消息传来。
因此，可以说贡家对于岳家有深厚的恩情，而岳家对此感激不已，两家结为异性兄弟，因此也就不通婚了。
此外，还有一个不与岳家通婚的姓氏便是完颜氏。这是由于金国将领完颜兀术在入侵南宋时屡次遭到岳飞的阻击。因此，在岳飞死后便定下族规，凡是完颜家族子孙均不得与岳家通婚。
