公元前73年，匈奴进犯西域的乌孙，乌孙向汉廷求救，于是汉朝组织五路大军，合计十几万人马，与乌孙联合起来将匈奴逼退。
公元前71年，汉朝发兵二十余万再次攻打匈奴，以摧枯拉朽之势直捣右谷蠡王庭。屋漏偏逢连夜雨，当匈奴元气大伤时，乌桓与乌孙又乘机分别从东西两侧攻打匈奴，为了延续种群匈奴只能被迫向西迁徙依靠西域。
公元前60年，日逐王先贤掸与新任单于屠耆堂为了争夺权力大打出手，日逐王降汉，匈奴被迫放弃了西域，并且实力大减。
此后匈奴内部又因权力归属问题矛盾重重，甚至出现"五单于争立"的情况，匈奴实力日渐衰弱，直到郅支单于死后这种衰落的趋势才停止。
