此外，西汉第一次对匈奴反击战的胜利，以及其后大规模深入匈奴腹地，在长距离奔袭战中取得巨大成功，重创匈奴，皆由卫氏枝属统军作战。霍去病之弟霍光，身奉四帝，躬辅三朝，是使西汉平稳度过危难，达到巅峰时期的第一功臣。汉武帝之功离不开卫青、霍去病，临危受命离不开霍光，而卫青、霍去病、霍光之发迹亦离不开卫子夫。卫子夫虽无推贤之举，却有引贤之功 。
然而随着卫子夫的年老色衰，霍去病和卫青的相继去世，卫子夫在刘彻心里的地位开始跌落。卫子夫虽仍贵为皇后，却已不受宠。加之汉武帝晚年身体越来越差，追求长生不老，宠信术士。他的性格也变得多疑起来，对巫盅之术更是深信不疑。
汉武帝重用小人江充，听信谗言说有人行巫盅之术来害他，并命江充彻查此事。而江充处心积虑地导演了一出巫盅事件来陷害太子，企图借机扳倒卫家。太子刘据联合皇后卫队杀了江充，汉武帝却因此大怒，直接派出军队去征讨刘据，太子刘据最后兵败自杀。卫子夫在这场巫盅之祸中始终站在儿子这边，加上武力援助太子杀了江充，所以汉武帝在怒气未消之下便废掉了她皇后的身份，而卫子夫在无奈之下只好选择自杀来自证清白。
