元朔二年（公元前127年），匈奴大举入侵上谷、渔阳，先攻破辽西，杀死辽西太守，又打败渔阳守将韩安国，劫掠百姓两千多人。武帝派李息从代郡出击，卫青率大军进攻河南地（黄河河套地区），他采用"迂回侧击"的战术，向西绕到匈奴后方，迅速攻占高阙（今内蒙古杭锦后旗），切断了驻守河南地的匈奴白羊王、楼烦王同单于王庭的联系。而后又率精骑飞速南下，进占陇县，形成对白羊王、楼烦王的包围。汉军俘敌兵甚多，夺牲畜数百万头，控制了水草丰美，地形险要的河套地区。卫青被封为长平侯。汉帝国在此修复了秦将蒙恬所筑的边塞和沿河的防御工事，并筑朔方城，设朔方、五原二郡，从内地迁徙十万人到此垦荒定居，建立了反击匈奴的前沿基地，解除了匈奴对长安的直接威胁。
元朔三年（公元前126年）夏，匈奴数万骑兵强攻代郡，杀太守，掳百姓。同年秋入雁门，杀掠千余人。元朔四年（公元前125年），匈奴又使各三万骑攻入代郡、定襄、上郡。元朔五年（公元前124）春，朝廷令卫青率三万骑兵，从高阙出兵；命令卫尉苏建做游击将军，左内史李沮当强弩将军，太仆公孙贺当骑将军，代国之相李蔡当轻车将军皆隶属车骑将军卫青，同从朔方出兵；朝廷又命令大行李息、岸头侯张次公为将军，从右北平出兵，合力攻打匈奴。汉军神兵天降，包围了右贤王。右贤王无暇顾及军队，独自带领爱妾和几百精骑突围北去。汉军俘虏右贤王家小十余人，战俘1.5万余人，牲畜多达千百万头。汉武帝接到战报，派特使捧印拜卫青为大将军，所有将领归他指挥。卫青的三个儿子被汉武帝封为列侯，长子卫伉为宜春侯，次子卫不疑为阴安侯，幼子卫登为发干侯。汉武帝随后又封赏了随从卫青作战的公孙敖、韩说、公孙贺、李蔡、李朔、赵不虞、公孙戎奴、李沮、李息、豆如意等。
元朔六年（公元前123年）春、夏，大将军卫青两次率领十万骑兵出击匈奴。歼灭匈奴军队过万。二月，以公孙敖为中将军，公孙贺为左将军，赵信为前将军，苏建为右将军，李广为后将军，李沮为强弩将军，分领六路大军，统归大将军卫青指挥，浩浩荡荡，从定襄出发，北进数百里。战后返定襄休整，一个月后再次出塞，斩获匈奴军一万多人。张骞也随从大将军出征，获封为博望侯。卫青外甥霍去病领八百骑兵出征，俘虏匈奴单于的叔父和国相，斩单于的祖父等2028人。
