但即便是如此，卫家也没有太大的危机。
可在汉武朝其他人的派别眼中，卫青虽死，但是卫家的势力让他们浑身不自在。一场囊括了卫家以皇后卫子夫为首的阴谋大网缓缓洒下，这就后世让人听到都胆战心惊的"巫蛊之祸"。
先是当朝丞相公孙贺和儿子所谓的"巫蛊诅咒"事发，死在狱中，公孙贺就是卫家的一大助力之一。公孙贺之死，意味着汉武帝相信了以江充为首的"寻巫蛊"派的奸臣的话，这个时候，卫青的长子卫伉也被牵连其中。
联系卫伉之前的行事风格，的确极有可能真的是参与了诅咒汉武帝一事，但具体有没有，史书没有记载。而与卫伉共同被牵连的，还有汉武帝自己的两个亲生女儿。卫伉之死，并不是一场结束，但是却意味着卫家卫青这一脉的衰落。
