卫氏集团不同于此前的窦氏外戚，他们的突出特点在于军功。卫青与霍去病是武帝征战匈奴的利器，为大汉开辟疆土、守卫安宁作出了极大的贡献，但以军功立身同时埋下了更大的外戚干政的隐患。
元狩六年，霍去病去世，元封五年，卫青去世。卫氏集团两位军事将领的接连陨落使得卫氏集团风光一落千丈。而随着卫子夫的宠爱也渐渐消退，卫氏集团更加岌岌可危，此后，武帝开始着手打击卫氏集团。
很难说巫蛊之祸其中是否有武帝的授意，但从结果来看，武帝的确借此机会铲尽几近全部的卫氏集团，废黜卫子夫也是政治手段下的必然结果。
无论是陈皇后，还是卫皇后，她们被废黜的背后都隐藏着旁系复杂、根基深厚的外戚势力。汉武帝个人对巫蛊之术的厌恶是废黜皇后行为的驱动剂，但其根本目的仍然是借巫术之名，铲除外戚之力。
正所谓"红颜未老恩先断"，帝王之家情谊的背后，占据首位的永远是政治诉求。但令人扼腕的是，汉武帝一生都致力于铲除外戚。但怎料窦氏集团之后又添卫氏集团，掰倒卫氏集团之后，又出现李氏集团、赵氏集团争夺皇位。外戚势力的频繁涌现，使得废后一事在汉朝屡见不鲜。
