公元前五十二年，匈奴发生了分裂，呼韩邪单于率部归顺汉朝，不愿归顺的匈奴人在郅支单于的带领下逃窜到了中亚，而在这里等待他们的将是灭顶之灾。"犯强汉者，虽远必诛"，名将陈汤在这里将他们消灭掉了，从此汉匈关系进入了长达八九十年的和平时期。
东汉初年，匈奴再次分裂为南匈奴和北匈奴，南匈奴归服汉朝，居住于漠南地区（长城以北的内蒙古一代）。而北匈奴则坚持与汉为敌，经常南下攻打南匈奴和汉朝。直到公元九十一年（北方鲜卑人崛起），东汉在阿尔泰山大败北单于，在东汉和南匈奴的合击下，北匈奴已经无法在蒙古高原立足，一部分北匈奴人只得向西域（今新疆）逃窜，而另一部分人（据说有五六十万之众）则自称为鲜卑人。
逃窜到西域的北匈奴联合西域诸部，继续与汉对峙。公元151年，东汉击败了北匈奴，北匈奴的呼衍王单于不得不率众继续西逃到了康居国（今哈萨克、乌兹别克等国）。匈奴人在康居国的活动由于缺乏记载，就不得而知了。
南匈奴的消失
公元316年，西晋灭亡，司马皇室东迁至长江流域。中国北方彻底大乱，进入了五胡十六国时代。率先兴起的便是南匈奴人刘渊，他在公元304年建立起了前赵政权。随后，南匈奴人的支系又建立起了北凉和大夏。公元五世纪末，北魏统一中国北方，随后隋唐统一了全国。而留在蒙古高原上的匈奴人，一部分汉化融入了汉民族，另一部分融入到了鲜卑、蒙古、突厥、契丹等民族中。
