在卫青死后，他的三个儿子不懂得韬晦之道，仗着家族势力庞大，行事十分的张扬，不明白做人要低调的道理。再加上，汉武帝晚年一改年轻时的雄才大略，性格变得扭曲多疑。而且权力欲望比年轻的时候更加强烈，性情也变得十分残暴。在这种情况下，势力庞大又行事张扬的卫家就被推在了风口浪尖上。
卫家最大的靠山卫青已死，皇后卫子夫因为年老色衰也渐渐的失宠。这让一些想要取代卫家地位的人看到了机会，例如李夫人的兄长李广利、江充等人，他们联合起来把卫家推入了万劫不复的深渊。而年老昏聩的汉武帝，则给了他们一个完美的机会。
汉武帝年轻的时候是一位明君圣主，可是到了晚年的时候却成了一位残暴的昏君。他的权力欲望也越来越大，为了能够长久的统治天下，他迷恋上了丹药之道。古代的方士练出来的丹药究竟是什么东西，恐怕他们自己心里也没底，练出来的丹药恐怕他们自己都不敢吃。但是一心妄想长生的汉武帝就敢吃，吃多了的后果就是经常会产生幻觉。
汉武帝吃仙丹吃出了幻觉，这就给了想扳倒卫家的人一个机会。李广利就开始故意散布谣言，说是太子利用巫术谋害皇帝。汉武帝知道后，果然勃然大怒，立刻下旨查办。其实这刚好中了李广利的圈套，而承办这件案件的人就是他们的同伙江充。
江充等人栽赃刘据，在他的府中藏下了很多的木偶草人。刘据以为父皇已经被人害死，江充等人是伪造圣旨故意置他于死地，于是就起兵反抗，最后兵败身死。皇后卫子夫牵连其中，伤心之下，自缢而死。卫家也被汉武帝下旨抄家，族人以谋反罪株连甚多。
卫家落得如此境地，出了本身行事太过张扬之外，也跟汉武帝的冷酷无情有很大关系。自古以来，因为功高震主被抄家灭族的例子太多了。卫家不是第一个，也不是最后一个。所以古人常说，伴君如伴虎，这句话真是非常的有道理。
