因为在汉初便有着外戚干政的先例，如吕后掌权，吕氏家族权倾朝野，距离汉武帝最近的时期也是有着窦太后等外戚掌权，这也让汉武帝对外戚掌权十分敏感。再加上卫氏家族的权势也是越来越大，又加上有其他别有用心的人在煽风点火，汉武帝也是越来越坐不住了。
三、巫蛊之祸
当年深受汉武帝宠爱的卫子夫随着时间的增长也是人老珠黄了，不在受宠爱了，而卫氏家族此时作为外戚权势又过于大了，再加上汉武帝也是病倒了，于是，一场流传至今的时间巫蛊之祸也是发生了。
汉武帝的病使他经常出现幻觉，而有人称汉武帝的病与巫术有关，这令汉武帝十分的生气，令人彻查，于是巫蛊之祸也就爆发了。
