卫青出身低微，他本是母亲和小吏的私生子，因不愿忍受其他兄弟的虐待，因此离开家族，给平阳公主做奴隶，而卫青的同母姐姐卫子夫则是平阳公主家中的歌女。
有一位囚徒擅长看相，他见到卫青后惊讶说："你是贵人，将来必然被封侯。"卫青觉得囚徒的话非常好笑，说道："我身为奴仆，只求不被打骂便好，怎么可能被封侯呢？"
建元二年，汉武帝来平阳公主家中做客，看中了身为歌女的卫子夫，并纳入后宫。卫青因此被升为宫中差役。一年后，卫子夫怀孕，陈皇后的母亲馆陶公主意图报复卫子夫，秘密派人杀掉卫青。不巧此事被汉武帝知道，汉武帝反而提拔了卫青。此后数年，卫青有机会跟着汉武帝参决政务，为将来带兵打仗打下基础。
