东汉的时候，这个匈奴依旧是汉朝的一个威胁，而这个时候的光武帝可能已经老了，缺乏雄心壮志，比较保守，此时南匈奴比较亲汉，表示愿意向汉朝臣服，共同进攻北匈奴，面对臣服自己的好意，他竟然让南匈奴迁徙到汉朝境内，而这些匈奴人并没有被同化，也没有把他们打散，而是仍然让这些匈奴人集中居住，也没有解除他们的武装，他们还仍然保持着匈奴人的文化习俗。
从公元93年起，南匈奴内部的关系和东汉之间的关系日趋紧张，在公元2世纪末，南单于在山西南部居住，这里大大地靠近了东汉帝国的中央部分。他们的后代于公元308年就在这里起来反对西晋。西晋之亡，中国北部的丧失和持续到公元589年的分裂时期，是光武帝的目光短浅的政策的直接后果。公元304年冬天，匈奴贵族刘渊起兵于离石，史称汉赵，掀开了五胡乱华的序幕，作为错误的源头，光武帝刘秀还是负主要责任。
