卫青出身低微，他的父亲在平阳侯曹寿家里当差。卫青长大以后，在平阳侯家当了一名骑奴。后来，因为卫青的姐姐卫子夫进宫，受到汉武帝的宠幸，卫青的地位才渐渐显贵起来。
公元前129年,上谷之战中,武帝派四路大军打击匈奴,卫青率领的一路是惟一获胜的军队,所以受到赏识.公元前127年,在河南之战中,卫青等再度击败匈奴,占取河南(黄河河套西部北)地区.就在李广在战斗中被匈奴兵俘虏后又逃回的那年，汉军四路人马，三路都失败了，只有卫青打了个胜仗，他因此被封为关内侯；以后，又接二连三地打败匈奴兵，立了战功。
公元前124年，卫青率领骑兵三万，追到长城外。匈奴右贤王以为汉军还离着很远，一点也没防备，在兵营里喝酒作乐，喝得酩酊大醉。卫青在夜色的掩护下，急行军六七百里，包围了右贤王。汉兵从四面八方冲进匈奴营地，打得匈奴部队四面逃窜，乱成一团。右贤王刚刚从醉意中惊醒，要抵抗已来不及了，只好带着他的几百个亲信脱身逃走。
