但是，郅支的野心最终没有实现。在公元前36年，西域都护甘延寿和副校尉陈汤率兵出击康居人的领地，并杀死了郅支。因为郅支所率的这一支匈奴军没有约定成俗的文字，所以随着郅支等人被杀之后，这一支西行的匈奴便消失在历史的长河中了。
到了王莽新朝时期，中原动乱，匈奴趁着中原无暇顾及之际，又重新在漠南一带建立威信。虽然匈奴在这个期间有了些许起色，但是内部出现了不同的主张。其中，位于南方的匈奴部落反对单于蒲奴，主张和光武帝刘秀结盟。刘秀在接受这部分匈奴的结盟后，允许他们居住在甘肃北部和蒙古一带。
在公元91年，汉和帝派遣耿夔和任尚等人出兵北匈奴，北单于被汉军所败，不得不远走中亚。期间，北匈奴也想重回西域，并且一度占据北库车，但最后还是没有成功。公元49年的时候，当时任辽东太守的祭彤拉拢辽河流域的乌桓部落，以及大兴安岭一带的鲜卑部落，让他们对北匈奴进行侵扰。
到了东汉桓帝时期，鲜卑部落被檀石槐所统一。随着鲜卑族的不断壮大，北匈奴的领地和实力在不断的缩小，最后被消灭。
至于南匈奴，虽然曾和汉朝结盟，但是在公元110年的时候，也曾反叛东汉，但被耿夔所败。在公元215年的时候，曹操将南匈奴划分为五部，分别安置在荒无人烟的地区，而且这五部的单于都被曹操软禁在长安。也因此，在三国时期，南匈奴的实力并没有因为中原的战乱而壮大。
