然而，船长回国后因雨格诺战争(又名宗教战争)被贵族囚禁，当他的孙子循着海图找到海象岛时，早已是他人囊中之物。
第一对因遭遇飓风而被困群岛的是爱尔兰人弗朗索瓦和他的妻子玛德琳，依靠岸边飘来的沉船木材在阿默斯特岛建了第一座房子，也因此先后被英国与法国承认其所有权。
夫妻二人将海岛命名为马格达伦(爱尔兰语“求子”的意思)，后期虽生有三个男孩，却直到最小的儿子73岁后才有外来者前来，也就是后期被称为“海豹家族”的法国阿卡迪亚家族。
此后的英国殖民者陆续扩大北美殖民地范围，马格达伦群岛通过《魁北克法案》被纳入魁北克省，加拿大独立后顺理成章的被列入加拿大国土，但飓风、海难频发的群岛依旧没有被重视。