卫青是汉武帝时期主要抗击匈奴的将领，他一路靠着军功被封为了大司马、大将军以及长平侯。汉武帝为表彰其劳苦功高，还特意封卫青的三个儿子为侯。甚至娶了刘彻的姐姐平阳公主为妻。而霍去病也是屡立军功，被封为了冠军侯，后又受封大司马、骠骑大将军，地位与卫青相差无二。可想而知，卫氏一族在当时有多显赫，甚至有民谣称：卫子夫独霸天下。
然而，自古帝王多疑，这样显赫的家族自然会引起刘彻的忌惮。而且随着卫子夫年老色衰，风流的刘彻自然对她不复以往。甚至于后来钩弋夫人的出现，彻底让卫子夫失了宠。
刘彻晚年发动的巫蛊之祸中，整个卫氏都被牵连，就连卫子夫的两个女儿都未能幸免。于是，绝境之下，卫子夫与卫太子刘据起兵。但最终兵败，刘据在逃亡中被杀，其一众党羽全部被灭，只留下了几个月大的刘病已。而卫子夫则不堪受辱自尽而死。
其实，从刘彻对待发妻陈阿娇的事情上就能看出，刘彻是个刻薄寡恩，忘恩负义之人。所以卫子夫与其家族有那样的下场，也是意料之中的事情。
