在他手上，匈奴人从强盛走向衰落；在他手上，匈奴人陷入了内乱。他就是著名的伊稚邪单于。
按照《史记》记载，伊稚邪是军臣单于的弟弟，他担任的是左谷蠡王，他起兵攻打军臣单于的太子於单，才得以继承单于之位。於单于是投降汉朝才得以幸存，但是於单投降汉朝几个月后，就病死了。伊稚斜由于是发动军事兵变得以上位，这种政治人物最喜欢的就是发动对外战争，在伊稚斜成为单于后，发动了对于汉朝的大规模袭扰运动。
在元朔三年（前126年），匈奴数万骑兵进攻代郡，杀代郡太守恭友，掳掠千余人。此后在秋季，匈奴再次攻入雁门郡，杀略千余人。在元朔四年（前125年），匈奴攻入代郡、定襄、上郡，各自三万骑，杀略数千人。匈奴的袭扰使得大汉王朝做出了反击，汉匈战争正式打响
元朔五年（前124年），汉军出塞，分三路：车骑将军卫青将三万骑出高阙；苏建为游击将军，李沮为高弩将军，太仆公孙贺为骑将军，李蔡为轻车将军，皆领属车骑将军，俱出朔方；李息、张次公为将军，俱出右北平。
元朔六年（前123年）二月，汉军再度出塞。卫青出定襄，击匈奴，斩首数千级而还。四月卫青随即再出塞，击杀一万余人。到了元狩二年（前121年），霍去病征战河西，摧毁了匈奴的西方势力。《资治通鉴》记载：霍去病担任骠骑将军，带着一万骑兵从陇西出发攻击匈奴，历五王国，转战六日，过焉支山一千余里，杀折兰王，斩卢侯王，执浑邪王子及相国、都尉，获首虏八千九百余级，收休屠王祭天金人。
