作为汉武帝第二任皇后，卫子夫是河东郡平阳县人，出身甚为低贱，生父情况不详，母亲卫媪曾是平阳侯府中的侍妾。作为家中的老四，卫子夫上有一兄二姐，即长兄卫长君、大姐卫君孺、二姐卫少儿（霍去病的生母）。此外，卫子夫还有3个同母异父的兄弟，即卫青、卫步和卫广，皆是卫媪与平阳小吏郑季的私生子。
卫子夫本是平阳侯府的歌女
卫子夫虽然长得很漂亮，但由于身世寒微，不可能嫁入豪势之家，因此自幼便被送到平阳侯府学习歌舞。由于卫子夫技艺精湛、相貌秀美，经过多年的磨砺后，逐渐晋升为侯府首席讴者（即歌女）。如果没有后来的命运大反转，卫子夫极可能会步母亲的后尘，最好的结局，不过是在侯府中做一名侍妾而已。但一场意外的邂逅，却彻底改变卫子夫的人生轨迹。
建元二年（前139年），年仅18岁的汉武帝刘彻到灞上去祭祀先祖，回宫时顺路去平阳侯在长安的府邸看望大姐平阳公主（嫁与平阳侯曹时为妻）。平阳公主为讨好皇帝，便精心挑选十余名美女进献给他，但汉武帝都不满意，却独独看中府中首席歌女卫子夫，并将她纳入宫中。
