元顺帝去世后，他的儿子爱猷识理达腊在哈拉和林继位，继续延续着残元的统治，但是也无可避免的遭受到了明朝军队的打击。1372年大将徐达带兵进攻哈拉和林，这个蒙古帝国的大本营一旦失去，黄金家族荣耀将荡然无存，所以蒙古军队誓死抵抗。但是明军太过强大，一路势如破竹将爱猷识理达腊逼上了绝路，让他殉国的心思都有了。大幸的是明军由于补给线太长，无法继续进攻，让黄金家族免于一难。
爱猷识理达腊在继位的几年间，并没有什么大的作为，带着遗憾在1378年去世，他的儿子脱古思帖木儿继位。但是这时候残元的势力已经被压缩到了最低点，和蒙古帝国最先兴起的时候规模一样，这位残元的第三位皇帝也再难有所作为。
1388年，10万明朝军队在大将蓝玉的率领下再次进攻残元势力，双方交战于合勒卡河和克鲁伦河之间、贝尔湖南岸。残元势力大败，多位王和平章以下官员三千多人及军士七万余人被俘，脱木思帖木儿趁乱逃走，但是被部下大将缢杀。
这次的失败使得黄金家族彻底的失去了对于蒙古各部的统治力，已经陷入了名存实亡的境地，大部分的蒙古各部都纷纷宣布脱离自立。直到1399年的时候叶尼塞河上游沿岸的乞儿吉斯部首领贵力赤，否认了最后一任残元皇帝额勒伯克的宗主权，并且将其打败杀死后，苟延残喘了29年的残元政权正式灭亡，蒙古各部再次陷入了争夺汗位的乱局。
