曹操同时将南匈奴分为5部，每部选尊贵者为帅，令汉人为司马，以监督之。令左部居太原故兹氏县（今山西省汾阳东南）、右部居祁县（今山西省祁县东南）、南部居蒲子县（今山西省隰县）、北部居新兴县（今山西省忻县）、中部居大陵县（今山西省文水县东北）。匈奴部落组织虽然名义上虽还被继续保存着，但权力却已全部落入曹魏政权的手中，单于只是徒有虚名的称号，南匈奴国家政权到此完结。
匈奴人改变了游牧的生活习性，开始了农耕生活。不过他们的酋帅依然是单于一脉，在匈奴人中有着强大的号召力。他们慢慢的也开始汉化了，取了汉人的名字，由于他们认为自己是汉朝皇帝的外甥，就让自己姓刘。其中，呼厨泉的一个孙子名叫刘渊的，他建立了灭亡西晋王朝的汉赵政权，这算是匈奴人百多年来参与汉地群雄混战的一个阶段性总结吧。
汉赵政权有效控制面积不大，因为他只是作为中原各种武装势力的盟主存在而已。仅仅18年后，汉赵政权就在羯人建立的后赵政权的攻击下覆灭了。此后，单于一脉的匈奴贵族阶层渐渐无闻，消失在民族融合的大趋势里。
在河套一带，还有匈奴别部的铁弗部落，他们自称继承了匈奴单于的法统，建立起胡夏国家。这个国家的统治者叫做赫连勃勃，他攻占了关中一带，一度势力颇为强大。可是他的儿子们却争权夺利，很快就被北魏道武帝拓跋珪各个击破。赫连昌、赫连定分别在战场上被杀，匈奴人建立的最后的国家灭亡。
