丞相公孙贺的妻子卫君孺，是卫子夫的姐姐，公孙贺一家也属于外戚势力。公孙贺的儿子公孙敬声，不遵守法纪，贪污公款被人发现，被抓进监狱。当时朝廷正在追捕一个名为朱安世的大侠，公孙贺就主动将这个任务包下，希望能戴罪立功，给儿子赎罪。
朱安世的确是被抓住了，但他揭发公孙敬声和阳石公主私通，并说公孙贺一家用人偶诅咒皇帝。如此这般，公孙贺父子死在狱中，其中还牵连了卫青的长子卫伉一同被杀。
之后江充得势，而江充跟太子刘据发生过间隙，为了扳倒太子，江充诬陷太子行巫蛊之术，并在太子宫中找到了人偶。太子刘据迫于无奈，杀掉了江充和其同党，逃出了京城。汉武帝仍是没有查明真伪，认为太子要密谋造反，就派人去抓太子，刘据最后自缢身亡。
皇后卫子夫见大势已去，同样自杀身亡，卫氏外戚从此一蹶不振，卫青、霍去病早已去世，由于巫蛊之祸，卫氏外戚也被认定为反叛，霍去病是卫青的外甥，所以也牵连到了霍去病。
司马迁写史书，也是在一个时期的历史环境下，而当时卫家倒台，正是一个敏感的时间段，可能司马迁为了避嫌，将霍去病写入了佞幸传，也将霍去病的死写成了"卒"。
