为了控制乌桓和鲜卑，光武帝听从班彪建议，重新设立护乌桓校尉，并将其治所设立在上谷宁城。在汉朝的武装下，乌桓和鲜卑成为最精锐的雇佣军，他们连年攻打匈奴，取得了巨大的战果。
首先，鲜卑大都护偏何主动向汉请功，汉朝命其出击北匈奴，结果偏何大破左伊育訾部，斩首二千级。其后，鲜卑人每年都会主动进攻匈奴，并拿着匈奴人的首级去往辽东郡领赏。凭借着匈奴人的头颅，鲜卑逐渐由一个小部落，变成一个足以抗衡匈奴的大部族。
章和元年（87），鲜卑大举进攻匈奴左地，取得了史无前例的胜利。此战中，匈奴单于惨遭袭杀，还被鲜卑人剥了皮。经历这次打击，北匈奴发生内乱，陆续有20多万人向汉朝投降。从此，北匈奴放弃龙庭，向西逃去，到了今阿尔浑河以西。而到此时，歼灭北匈奴的时期彻底成熟。
公元89年，汉朝外戚--车骑将军窦宪率领胡汉大军3万，大举进攻北匈奴，并取得了最终的胜利。北单于被迫向西远遁，渐渐失去了音信。有人说，数百年后在欧洲出现的匈人，便是这些西迁的北匈奴。
