给卫家带来灾难的就是巫蛊之祸，公孙家族作为卫氏外戚，也是这场灾祸的根源。公孙家族的公孙敬被人诬告，与阳石公主私通，并且还使用巫蛊诅咒汉武帝。汉武帝下令严查，这样可以稳固汉武帝的地位，起到震慑百姓官员的目的。
巫蛊之祸牵连范围巨大，几万人因此丢掉性命。诸邑公主和阳石公主被处死，卫青长子卫伉也被杀掉，卫青的次子卫不宁和小儿子卫登官位被夺，皇后卫子夫和太子刘据之后也相继自杀。卫氏家族也就这样一步步垮台了。
汉武帝晚年疑心过重，杀戮过多，他也知道自己错杀了儿子刘据。后悔不已的汉武帝建造了思子宫，还下达轮台罪己诏。可惜，一切都为时已晚了。
