卫青生前可谓是为西汉立下了不少的功劳，其为人也是忠心耿耿，为何汉武帝还要下这样的手呢？其实汉武帝本身就是一个非常具有权力欲的皇帝，他喜好独裁，之所以要铲除卫青家族是为了稳固他自己的权力。
随着岁月的流逝，武帝感觉到自己逐渐衰老，便开始效仿秦始皇千方百计的寻求不死仙药，还迷信鬼神，四处寻仙问道。在太始和征和年间，他数次东巡，企图遇见神仙，赐他长生不老药。晚年的武帝体弱多病，疑神疑鬼，有一次梦见几个木偶人用剑袭击他，吓醒后病倒，记忆力也随之衰减。
他认为是有人故意下蛊诅咒他，于是便派近臣江充去调查，史上有名的"巫蛊之祸"随即爆发。卫青的三个儿子是卫伉、卫不疑、卫登。其实在巫蛊之祸中，只有卫伉受牵连而死，其余两人都没有。所以，汉武帝在巫蛊之祸中，并没有诛杀卫氏一族。不过，巫蛊之祸确实导致了卫氏一族在朝中没有了权势。
