他是汉武帝第二任皇后卫子夫的弟弟，汉武帝在位时他曾经担任大司马大将军并且被封侯，在与匈奴开战的时候反败为胜，曾经七战斗七捷，为北方疆域的开拓做出了很大的贡献。他是抗匈奴的英雄并不比李广差，为什么在别人的眼中差评却很多，难道真的是因为他的出身吗？史书中记载他是一个私生子，他的母亲与平阳侯家中做事的县吏郑季私通生下了他，显然他的出生已经不被看好。
因为生活非常艰苦，所以从小他就被送到了亲生父亲的家中，所有人都把他当成奴仆畜生一样使唤，这样的出身难免会让卫青心里留下阴影，等到他懂事的时候，他便不再愿意到郑家为奴，回到自己的母亲身边，做了平阳公主的骑奴。一次他跟随别人来到了宫廷中，有一位囚犯看见他的相貌之后，就说他是贵人的面相，以后当官是能封侯的。
显然这句话在卫青的心中也许是囚犯安慰他的，明知自己已是别人的奴隶，主人不骂对他来说已经是非常幸运的了，哪里谈得上当官封侯，他并没有在意。没想到过了几年之后，他的姐姐竟然被汉武帝看中，卫青的仕途也随之而来，只要在宫中就难免会遇到宫斗，她姐姐被宠幸引起了皇后的嫉妒，为情也因此受到了牵连被别人抓了去，同僚的公孙敖听到消息之后便率兵救下了他，皇帝知道之后十分愤怒，越发的宠幸卫家人，连续几日都赏赐卫青多达千金。
