卫子夫并不是出身高贵且娇生惯养的大小姐，卫子夫身份低微，母亲是平阳候的家奴，卫子夫的父亲，除了交代姓卫以外，在历史上就没有多余的记载了，卫子夫从小在唱歌和舞蹈方面有着很高的天赋，因此年少时就在平阳候府中学习歌舞，在后来卫子夫成了平阳候府中的歌女。
公元前139年三月，汉武帝刘彻在祭祀完先祖回到京中后，汉武帝刘彻想到了嫁给平原侯的姐姐平阳公主，于是汉武帝刘彻去往平原侯的在京中的府中探望姐姐平阳公主。
这时候的汉武帝刘彻与陈皇后结婚多年仍没有子嗣，作为汉武帝刘彻的姐姐，自然知道弟弟的心思，也知道是后来的陈皇后因为跋扈和生不出子嗣，不受弟弟汉武帝刘彻的喜爱。
