卫青是汉武帝的姐夫，因为他娶了汉武帝的姐姐平阳公主，又是汉武帝的小舅子，因为汉武帝的皇后就是他的姐姐卫子夫。如此说来，汉武帝怎么可能杀了卫青整个家族，再说卫青又没犯什么错误，而且立有赫赫战功，汉武帝也不能没理由乱杀人。
卫青出生卑贱，母亲卫媪是平阳侯家的女奴，父亲郑季以县吏给事身份给平阳侯曹寿办事，与卫媪私通生下卫青。卫青长大后又做了平阳侯家的骑奴隶，后来经骑友公孙敖的引荐得以到章建起宫中当差。
卫青除了三个儿子之外，还有三个地位显赫的姐姐，分别是长姐卫君孺，嫁给了宰相公孙贺。二姐卫少儿，生育了冠军侯霍去病。三姐卫子夫嫁给了汉武帝，并且生育了太子刘据。因此，在朝廷上形成了庞大的势力，卫氏一门也全部聚集在了太子刘据的麾下。
公元前106年，卫青去世后，很多觊觎太子之位的人都认为刘据失去了最大的靠山，所以开始在汉武帝面前构陷刘据，打击卫氏势力。此时的汉武帝可能也认为外戚势力过大，将来太子刘据登基之后，很可能无法收回权力，所以开始着手打击卫氏一门。卫青的长子卫伉也因此失去了侯爵，被汉武帝发配边疆，修筑了五年的边关城池。
