卫子夫出生日期已经无法考究，名字也没有相关史料记载，只知道她姓卫，字子夫，这是因为一方面古代女性的地位本就低下，一方面是卫子夫本人比起当时的很多女性的出身还要寒微。
卫子夫家境很差，因此小时候就被送进了平阳侯府中成为了歌女。平阳候是平阳公主的丈夫，而平阳公主是汉武帝的姐姐，正是因为这层关系，让卫子夫在后来得以跟汉武帝攀上关系。
汉武帝刘彻的第一任皇后是陈皇后，是大长公主刘嫖之女，出身高贵，但是却有一个问题，就是他跟汉武帝成婚10年，肚子却一直没有动静，但汉武帝十分宠爱陈皇后，并没有太过计较。
刘彻不计较，平阳公主可很急了，毕竟"不孝有三无后为大"，更何况是皇家呢?因此，平阳公主就开始给刘彻物色妾室了。刚好公元前139年时，刘彻去霸上祭祖回宫时，顺道来看望平阳公主，平阳公主热情地接待了自己的弟弟，同时也将这些年自己物色的女子唤来站成了一排，供刘彻挑选，而其中就包括了年轻貌美的卫子夫。
