卫青是她和一个叫郑季的男人生的。这个男人是个小官吏，曾到平阳侯家服务，于是有了这段露水姻缘。少年卫青曾经回到父亲身边，但父亲并不缺少儿子，原配所生的儿子也都不把卫青当兄弟，而是当作奴仆看待。《汉书》称这些儿子为"民母之子"，强调他们父母都是良民身份，和卫青这种奴婢的孩子不同。
反正是做奴仆，给平民当奴仆自然就不如给权贵当奴仆了。后来卫青还是跟着母亲，而母亲的丈夫也接纳了他，就像接纳妻子的其他儿女一样，所以卫青才会不姓郑而姓卫。
平阳侯的妻子，是汉武帝的姐姐阳信公主。不过史书更喜欢根据她的丈夫，称她为平阳公主。
青年时代，卫青的相貌英俊、身手矫健一定就非常引人瞩目，在骄奢淫逸、攀比成风的长安城里，哪个宗室豪门，不希望自家的奴仆一站出来，精气神就能胜过人家一头呢？所以平阳公主很愿意带他出行，于是卫青"为侯家骑"，当上了一名骑马的侍从。
卫青命运的真正转机，来自他美丽的姐姐、歌女卫子夫。汉武帝到平阳公主家来做客，平阳公主早就准备下十余名"良家子女"，供皇帝挑选。但是在皇帝看来，她们都寡淡无味。一直到卫子夫在歌女队伍中出现，汉武帝远远就看中了她。
