东汉末年天下大乱，南匈奴发生内讧，单于羌渠被杀，儿子左贤王於夫罗即位，但那些参与者担心被报复，打算另立一位新单于，於夫罗只好前往东汉求援，碰巧遇上汉末大乱便留在河东。
公元202年，南匈奴归附于曹操，曹操将呼厨泉单于拘禁，然后派遣右贤王到卑监国，并且将匈奴分成五个部分，安置在平阳郡，自此匈奴单于王朝正式终结。
公元4世纪，匈奴人刘渊趁西晋刚刚经历八王之乱实力元气大伤，在并州离石起兵创立汉国，自立为汉王，并且在之后几年时间内攻占了中国北方的大部分地区。
之后羯族崛起，对于匈奴大开杀戒，而后中原大陆又出现刘裕、冉闵等民族英雄，匈奴逐渐走向衰弱并且被赶出中原地区。
与此同时，鲜卑人进入蒙古高原与匈奴人通婚，他们的后代被称为铁弗人。铁弗人赫连勃勃被鲜卑拓跋氏击败后投奔后秦，在其帮助之下赫连勃勃击败东晋军队并夺得关中地区。
公元425年，赫连勃勃卒，赫连昌继位。三年后北魏俘虏赫连昌，他的弟弟赫连定在平凉自称夏皇帝。公元431年，北魏攻打平凉并生擒赫连定，夏朝就此灭亡。
除此之外，还有一支匈奴进入辽东半岛，融入靠近高句丽的宇文鲜卑部落，之后杨坚篡夺北周政权，一统中原，创立隋朝。这段时间内匈奴已经彻底与各民族融合在一起，南北朝时期成了他们最后一场舞台戏。
