汉武帝统治晚年，卫氏家族几乎掌控了汉朝半个朝堂。
卫青和他三个儿子都位列侯爵，手握兵权，姐姐卫子夫是当朝皇后，卫子夫的儿子是当朝太子，可以说卫家家族太过显赫，以至于让汉武帝开始对卫家心生忌惮。
汉朝早期，外戚干政的先例太多了，吕后，薄太后，窦太后，这些都是外戚干政的女强人。汉武帝担心自己百年之后，新皇帝对卫家会难以控制。汉武帝不能不提前防备。
大将军卫青一生共有3个儿子，分别为长子卫伉、次子卫不疑、三子卫登。
公元前127年，卫青奉汉武帝命，率军十万出征匈奴，此战大获全胜，卫青斩获匈奴王爵以上十余人，俘获匈奴人口一万五千余人，牲畜几百万。刘彻得知后兴奋异常，立刻封赏了卫青，同时还将卫青尚在襁褓中的三个儿子封为了列侯。从此之后卫氏一门显贵无比，逐渐成长为朝堂上的重要力量。
卫青除了三个儿子之外，还有三个地位显赫的姐姐，分别是：
长姐卫君孺，嫁给了宰相公孙贺。二姐卫少儿，生育了冠军侯霍去病。三姐卫子夫嫁给了汉武帝，并且生育了太子刘据。因此，在朝廷上形成了庞大的势力，卫氏一门也全部聚集在了太子刘据的麾下。
公元前106年，卫青去世后，很多觊觎太子之位的人都认为刘据失去了最大的靠山，所以开始在汉武帝面前构陷刘据，打击卫氏势力。
此时的汉武帝可能也认为外戚势力过大，将来太子刘据登基之后，很可能无法收回权力，所以开始着手打击卫氏一门。
卫青的长子卫伉也因此失去了侯爵，被汉武帝发配边疆，修筑了五年的边关城池。
