后来汉武帝在冷落卫子夫的同时，也在同时有意地刻意疏远卫青，为的便是防止政权被外戚所占。卫青家族势力彻底瓦解的原因就是由于后宫之中的巫蛊所带来的案件。因为这个案件卫青家族中许多的人都被汉武帝所杀。然而汉武帝也并非杀光了卫青家族的所有人。
从客观上，卫家的势力在卫青时代达到了高峰，大将军姓卫，皇后姓卫，丞相也姓卫（卫倌）。卫青的后人，包括外甥霍去病在内五人封侯：三个儿子卫伉、卫不疑、卫登，外甥霍去病及霍嬗（霍去病之子）。这么强大的势力，一是遭到汉武帝的防范，二是遭到其他大臣的妒嫉与加害。这也是卫青家族遭到陷害的原因。
