到了西汉晚期，匈奴发生了分裂，呼韩邪单于率部归顺汉朝，而流窜到中亚与汉朝为敌的郅支单于也被汉将陈汤以"明犯强汉者，虽远必诛"为理由消灭掉了，汉匈关系从此走向和解。
东汉初年，在匈奴贵族中反汉的势力重新抬头，导致匈奴再次分裂，南匈奴归顺汉朝，而北匈奴则坚持与汉为敌，经常发动对南匈奴和汉人的掠夺。?
公元73年，汉军四路出击北匈奴，窦固、耿忠的汉军一直追击到天山一带。汉和帝时，又发动了针对北匈奴的反击战，公元89年，窦宪、耿秉率领汉军大败北匈奴，一直追击到今日的蒙古国杭爱山。
公元91年，耿夔率领汉朝大军再次出击北匈奴，在今阿尔泰山大败北单于，北单于只得向西逃窜，直至顿河、多瑙河流域。此后，匈奴后裔在那里建立了一个庞大的帝国!
