在卫青死后，按照世袭制，卫伉继承了爵位。但卫伉的能力平平，无法自保，更不提整个诺大的卫家。卫家被卷入了巫蛊事件后，无法自救，所以惨遭杀身之祸。
汉武帝年老时，许多巫蛊之术的方士聚集于长安，这对于晚年迷信的汉武帝来说，无疑是有着诸多猜疑的--他生怕有人用这种邪术来害自己。
汉武帝对巫蛊之事的在意就被奸人利用了。而后朱世安在狱中上书了公孙敬声与公主私通，并且埋藏木头人，用巫蛊之术来诅咒汉武帝。
因此，公孙家被满门抄斩，就连卫青的儿子卫伉也因牵涉此事而被杀。再后来，巫蛊之乱导致了太子自缢，皇后卫子夫以死明志，从此，卫家衰落。
