到了公元48年，即东汉光武帝建武二十四年，匈奴又分裂为南北两部分，南匈奴的呼韩邪二世单于臣服于汉。而南北两部匈奴互攻，南匈奴不敌，东汉就把南匈奴全部迁入长城以内，并设置护匈奴中郎将、度辽将军等职，昔日为匈奴侵塞发愁不断的大汉朝，反而要派兵去保护南匈奴免受北匈奴的侵掠。
公元73年，东汉明帝永平十六年，大将窦固从酒泉出发，占领匈奴最肥沃的土地之一伊吾卢（今哈密），驻兵屯垦；公元89年，东汉和帝永元三年，大将窦宪与度辽将军邓鸿和南匈奴单于共同进军，会师涿郡山（蒙古阿尔泰山），深入大漠，一直追到稽落山（蒙古古尔班察汗山），终于击溃北匈奴主力，斩首一万三千级，共有二十多万匈奴人投降。
而后，窦宪将军"勒石燕然"，在燕然山上竖立巨大的石碑纪念这次大胜。
