当时很多人都眼红卫青的地位，卫青没有去世的时候，还有很多小人比较害怕他，不敢乱来。但是后面卫青去世后，这些小人就准备开始有动作了。每一个皇帝都要面对很有能力的大臣，好的皇帝会放手让大臣们去做，这个时候皇帝信任大臣，那么大臣肯定就会好好做事，感恩皇帝。万一遇到的是那种昏君，就算大臣再有能力，再能干，都会被压得死死的。汉武帝最忌讳的一件事就是外戚干涉内政，因为在汉朝初期的时候发生过外戚把控朝代的事情。所有汉武帝对这种事情是非常痛恨的。
卫青在世的时候，汉武帝对他是很信任的，因为卫青为汉朝做的贡献，大家都是有目共睹的。卫青去世后，汉武帝就不怎么信任卫家的人了，再加上一些小人的话，卫家的命运更不好了。有一次汉武帝生病了，大脑就经常都会出现一些幻觉。这个时候，就有小人说皇帝的病和巫术有关。这句话传到了汉武帝的耳里面，汉武帝非常生气。就要彻底查这件事情，很多卫家以前的仇人就抓住这次机会，陷害卫家。陷害了太子刘据要造反的事情，汉武帝这时候怒了，卫家就受到了牵扯，一夜间曾经地位很高的卫家就这么消失了。
