由于姐姐的受宠，卫青也是一路高升，后来被任命为太中大夫，掌管朝政议论。公元前129年，匈奴兴兵南下，给了卫青展现自己能力的机会，汉武帝任命卫青为车骑将军，与公孙敖、公孙贺以及李广兵分四路反击，结果四路大军出击，公孙贺空手而归，公孙敖惨败，损失七千多人，李广更是全军覆没，装死逃了回来，只有卫青第一次带兵出征，便率军直捣匈奴圣地龙城，俘虏700多人，取得胜利。
公元前119年，卫青率大军出塞一千多里，与匈奴单于主力相遇，卫青先是命李广与赵食其两军从右翼包抄（但是这俩迷路了，一点忙没帮上），自己则与公孙贺正面迎敌，在狂风和漫天黄沙中两军杀的是昏天黑地，匈奴单于见汉军兵强马壮，恐难以取胜，便驾车带着几百人逃走，汉军连夜追击，虽然没能追到单于，但是此战俘虏和斩杀了近两万敌军。
经此一战，匈奴在漠南的主力被击溃，开始逐渐向西北迁徙，十几年内再也无力南下，汉武帝为了表彰卫青，加封他为大司马，封长平侯。公元前106年，卫青病逝，当年霍去病去世后，汉武帝将霍去病的墓修成祁连山的模样，而这次卫青病逝，汉武帝为了纪念卫青的战功，将他的坟墓修成了阴山的形状，也就是"但使龙城飞将在，不教胡马度阴山"中的阴山。
