然而卫青以及卫家的崛起是因为其姐姐卫子夫，然而女人终有年老色衰之时。随着卫子夫的衰老，汉武帝的宠幸也逐渐的减少，卫家也没有了往日的风光。
而且卫家本身就是寒门，没有根基，一切全是皇帝宠幸赏赐而来，一旦皇帝不再重视，那么未来堪忧。
而且此时卫家的顶梁柱卫青和霍去病都已经去世了。卫青死后十七年，巫蛊之祸爆发，卫子夫、太子、卫氏一族被牵连者众多，往日的辉煌转眼间成为了云烟。
巫蛊之祸本就是包藏祸心之人所为，但是汉武帝此时年老，根本无法分辨，因此也是冤杀了好多人。尤其是和卫子夫以及太子有关的人，被杀了一大批。
