卫青受到的这么大的恩宠，家族势力庞大，当然会引起一些人的不满，毕竟有人的地方，就会有勾心斗角，更不用说，在那个全国权力中心的地方了，人人都眼红卫青的地位和他家族的荣耀，卫青在世的时候，一些小人还畏惧他的威势，不敢造次，但是，一等到他去世，那些人就开始蠢蠢欲动了，图谋卫家。
公元前91年，巫蛊之祸爆发。公孙敬声被人告发跟阳石公主私通，并用巫蛊诅咒汉武帝，公孙贺父子因此被杀，卫青的儿子卫伉也受牵连被诛杀。汉武帝病倒了，经常出现幻觉，这时，有人上报皇帝的病跟巫术有关，得知消息的汉武帝十分生气，下令彻查此事。抓住这次机会的一些卫家仇人，设计陷害了太子刘据想要造反的事情，卫家一夜之间受到牵连，就这么消失了。
