最后，在汉武帝战胜了匈奴人，使他们的领域变成汉朝的土地。匈奴人于是归顺的归顺，西迁的西迁，整个民族都分割了。
建武二十四年（48年），匈奴爆发权力之争。统领匈奴南方八部的右奥鞬日逐王比自立为"呼韩邪单于"，与蒲奴单于形成南北对峙的局面。匈奴再度分裂为南匈奴、北匈奴两部分。
小呼韩邪单于采取了与老呼韩邪单于相同的作法，派出使节前往东汉帝国首都洛阳，表示愿意成为中国的藩属，为中国抵御北匈奴的进攻。对东汉帝国来说，北疆最严重的匈奴入侵，竟然由于大饥荒、匈奴乌桓战争以及匈奴分裂、南匈奴归附而得以解决。
在南匈奴归附前后，东汉政府又以大量的钱财招降了东北疆的劲敌乌桓与鲜卑。乌桓与鲜卑两大部落见钱眼开，加之与匈奴积怨甚深，所以时不时出兵攻打北匈奴。中兴不久的匈奴帝国很快便走下坡路，国力一日不如一日了。
