虽然汉军在西域遭受一些挫折，但北匈奴的处境却更为困难，不仅要防备汉军、南匈奴、乌桓及鲜卑的进攻，还得忍受天灾的袭击，真是内外交困，苦不堪言。建初八年(83年)，北匈奴三木楼訾大人稽留斯等率部众三万多人至五原塞附汉，开启了北匈奴部众大规模叛逃的先例。元和元年(84年)，北匈奴驱赶牛马万余头前来与汉贾互市，结果又被南匈奴轻骑截夺，经济损失惨重。尔后，北匈奴大人车利、涿兵等纷纷降汉，仅元和二年一年，北匈奴内附者就有七十三批之多。众叛亲离的结果，致使北匈奴的势力愈加衰落。章和元年(87年)，鲜卑又趁火打劫，攻其左地，杀优留单于，北匈奴大乱，屈兰等五十八部，二十多万人南下降汉。章和二年，北匈奴骨都侯等立优留单于异母兄右贤王为单于(史失其名)，其兄弟为争单于之位，内部又发生分裂，加以饥蝗成灾，其部众南下附汉者络绎不绝。同年七月，南匈奴休兰尸逐侯鞮单于见北匈奴已山穷水尽，遂上书请求与朝廷共同出兵攻灭北部，统一匈奴，彻底消弭边患。此时章帝刚刚去世，年幼的和帝即位，窦太后临朝执政。南单于上书后，窦太后征询执金吾耿秉的意见。耿秉认为：武帝时就欲臣服匈奴，可惜未逢其时；如今匈奴分裂，正是彻底臣服匈奴的大好时机，不可错过。窦太后采纳其议，命其兄窦宪与耿秉统兵于明年出击匈奴。不料此事却引起以司徒袁安为首的朝臣们的激烈反对，纷纷上书劝阻，反复谏诤十多次。窦太后不为所动，出征北匈奴的大政最终确定下来。正是在这种历史机遇下，曾被章帝痛斥为"腐鼠"的窦宪成为三百年汉匈战争的终结者。
窦宪是窦融的曾孙，祖父窦穆娶光武帝女内黄公主，父窦勋娶光武帝子东海王刘强女沘阳公主。祖、父二人尚公主，居高官，权倾一时，终因干乱政治、交通奸滑而获罪，父子俱死于狱。此时窦宪年少，又为罪官之后奇-书-网，仕途本已无望。但在建初二年(77年)，因妹妹立为章帝皇后，窦宪被拜为郎，迁为侍中、虎贲中郎将，从而春风得意，权势熏天，竟然强夺明帝女沁水公主园田。此事后为章帝知晓，痛斥窦宪为"腐鼠"，方将园田归还。章帝死后，和帝年幼，窦太后秉政，窦宪参议国家机要，权势更盛。因见风流倜傥的都乡侯刘畅赢得年轻太后的欢心，害怕分其权力，窦宪遂遣刺客将刘畅杀死。太后痛惜情夫被害，将窦宪囚于内宫，准备严惩。窦宪恐怕被诛，于是上书求击匈奴以赎罪。于是窦宪被拜为车骑将军，执金吾耿秉为副将，发北军五校、黎阳、雍营、沿边十二郡骑及羌、胡兵击北匈奴。
永元元年(89年)六月，窦宪、耿秉率八千骑与南匈奴左谷蠡王师子率万骑出朔方鸡鹿塞(今内蒙磴口西北)，南单于亲将万骑出满夷谷(今内蒙包头北)，度辽将军邓鸿率羌胡八千骑与南匈奴左贤王安国率万骑出祻阳塞(今包头东)，三路大军约定在涿邪山会师。窦宪率大军出塞之后，分遣副校尉阎磐、司马耿夔等与左谷蠡王师子率精兵一万余骑，于稽落山大败北单于军，其部众四处溃散。北单于率残部逃遁。窦宪率大军随后追击，又大破北匈奴诸部，直追至私渠比鞮海(今蒙古乌布苏泊)，斩首名王以下一万三千多级，掳获牲畜近百万，前后招降八十一部二十多万人。窦宪统率大军出塞三千多里，大获全胜，乘兴与部属登上燕然山，令幕府中护军班固作铭，勒石纪功。班固在《封燕然山铭》中赞扬窦宪与耿秉率"鹰扬之校，螭虎之士"，千里奔袭，"陵高阙，下鸡塞，经碛卤，绝大漠"，取得了显赫战绩，"蹑冒顿之区落，焚老上之龙庭"。宣称这次远征北匈奴即可以雪"高、文之宿愤，光祖宗之玄灵"，又可以"安固后嗣，恢拓境宇，振大汉之天威。"显然，窦宪等人已经认识到此役是最终战胜匈奴的关键一战，所以班固声称此役之后，可以"一劳而永逸，暂费而永宁。"事实确实如此。此役是汉匈长达三百年的战争中最后一次战略大决战。北匈奴经过这次沉重的打击之后，主力部队损失殆尽，在漠北的统治实际上已经崩溃，北单于被迫西迁，从而离开匈奴人曾经纵横三百年的大漠，开始了坎坷的西迁历程。
窦宪在燕然山铭功后率大军返朝，班师途中又遣军司马吴汜、梁讽携带金帛西行，准备招降北单于。这时北单于已经逃到西海(今巴尔喀什湖)之上，北匈奴内部乱作一团，吴汜、梁讽沿途招降一万多人，至西海后宣扬汉廷声威，劝慰北单于仿效呼韩邪单于，东归降汉，保国安民。北单于非常喜悦，立即率残余部众随汉使返回。北单于归至私渠比鞮海时，听说汉军已经入塞，心存疑虑，不敢亲自入汉，于是遣其弟到洛阳探听虚实。此时窦宪因击北匈奴有功，拜为大将军，封为武阳侯，威震朝廷。窦宪见北单于不亲自入朝，颇感不快，于是遣还其弟，北匈奴第一次请和未成。
永元二年七月，大将军窦宪率兵镇守凉州，又摆出一副即将大举出兵的态势。此时北单于见汉遣还其弟，复遣车偕储王至居延塞，请求汉朝遣使至北匈奴商议归附事宜，窦宪于是遣班固与梁讽前往。南单于当然不愿意北匈奴与汉媾和，于是上书请求出兵袭击北匈奴，护匈奴中郎将耿谭遣从事率汉军配合。而北单于根本不知道危险已经降临，还在急切等待着汉使的到来。入夜之后，汉军与南匈奴军二路夹攻，北单于在睡梦中惊醒，受伤后仅以身免，连玉玺也来不及携带，八千多人被杀戮，单于阏氏与儿女五人、部众一千多人都成为俘虏。等汉使班固、梁讽赶到私渠比鞮海后，北单于早已逃得不知去向，唯有残破的帐庭与满地的死尸，默默地陈列在大漠之上，以这种独特的方式欢迎前来媾和的汉使!
永元三年二月，窦宪见北匈奴衰微之极，再也不屑与北匈奴讲和，决心消灭北匈奴，于是遣左校尉耿夔率大军出居延塞，围击北匈奴于金微山(今阿尔泰山)。此时北单于根本没有任何抵抗能力，与汉军一触即溃，只得再次率残余部众突围而逃，母阏氏也被汉军俘虏，五千多部众都被汉军斩首。耿夔此次出塞五千多里，是汉匈战争爆发以来汉军出塞作战行程最远的一次，也是汉匈最后一次大会战。金微山之战后，北匈奴国家从此灭亡。本来北单于在二年前已经西迁，只是听从窦宪所派汉使梁讽等人的劝说后方才东归；而汉军却突然发动了金微山之战，颇有些背信弃义的味道。汉匈二大民族在大漠角逐争雄三百年，就是以这样不甚光彩的最后一战永久地画上了一个休止符。
《后汉书·南匈奴传》记载，金微山之战后北单于下落不明。据一些学者研究，北单于突围之后，仍沿西迁的老路逃至巴尔喀什湖与咸海间的康居一带。班超平定西域后，北匈奴在康居立足不定，离开康居，绕过咸海，再向遥远的西方迁徙而去，在伏尔加河流域定居下来，成为四世纪前叶活动于伏尔加河流域的匈人的祖先，或许在那里继续去圆已经在大漠之上破碎的重建匈奴帝国的美梦。
