汉武帝大将军卫青的母亲名卫媪，是曹参后人平阳侯曹寿家里的奴婢。她生有三子三女，长女卫君儒、次女卫少儿、三女卫子夫、长子卫青、次子卫布、三子卫广，前面的三女一子都是卫媪和小官吏郑季所生，次子和第三子的父亲不是郑季，是和其他人所生。
卫氏家族之所以崛起就因为卫子夫嫁给了汉武帝，家族得以风生水起。卫君儒嫁给了公孙贺；卫子夫嫁给了汉武帝；卫少儿先和一个在平阳府做事的小县官霍仲孺私通有了霍去病，而霍仲孺却不负责，回家之后另外娶妻生子，有一个儿子霍光。
卫少儿后来又搭上了一个叫陈掌的人，此人来头不小。陈掌是汉朝开国大臣陈平的曾孙子，不过不是嫡系所生，也就没有继承陈平曲逆侯的爵位。曲逆侯由陈平的另外一个嫡曾孙陈何继承，有16000户的食邑。陈何后来在大街上强抢他人妻子，被汉武帝罢爵，陈平曲逆侯世袭截止。
陈掌接受了卫少儿，当然也包括霍去病了，他实际上是霍去病的继父。陈掌在卫子夫再度被宠爱成为皇后之后，汉武帝也提拔陈掌担任卫子夫皇后的詹事，负责卫子夫的家中事。
