卫子夫青史留名，倒不是因为她本人有多受汉武帝宠爱，而是因为她的兄弟卫青、外甥霍去病太争气。特别是霍去病，封狼居胥之举，可以说是创造了中国武将的最高荣誉，成为后人不可逾越的高峰。卫氏一门，既因卫子夫而兴，又因绝世军功而旺，封爵至侯者五人。时人歌之：“生男无喜，生女无怒，独不见卫子夫霸天下！”和《长恨歌》中的“遂令天下父母心，不重生男重生女”，是一个意思。
不幸的是，物极必反。征和年间，卫氏家族遭人陷害，牵连巫蛊之祸，累及卫子夫和她给汉武帝生的太子刘据。
巫蛊之祸的起因，是一桩贪污案。卫子夫的姐姐卫君孺，嫁给丞相公孙贺为妻，生子公孙敬声。这孩子不学好，仗着自己是丞相的公子、皇后的外甥，盗用北军公款一千九百万钱。事发之后，被捕下狱。一千九百万钱不是小数，汉武帝又不是昏君，因此公孙敬声面临最严厉的惩罚，很有可能丢掉小命。即便是卫子夫，也不敢为他说情。
当时，朝廷正缉拿一名逃犯，名叫朱安世。他是大刀王五、燕子李三这一类人物，来无踪，去无影，很不容易抓到。公孙贺救子心切，请求捕拿朱安世来为儿子赎罪，后来果然也抓到了。事情至此，本来可以圆满结束，不料朱安世不是好惹的，在狱中奋笔疾书，揭发公孙敬声与阳石公主（汉武帝的女儿）私通，并在甘泉宫驰道下埋木偶，诅咒皇帝早死。汉武帝大怒，下令彻查，将公孙贺父子处死并灭族。卫氏家族遭受牵连，卫青的长子卫伉也被处死。巫蛊之祸，由此而兴。
公孙敬声与阳石公主私通，或有其事。以木偶诅咒皇帝，责是“莫须有”的罪名。殊为可疑的是，朱安世一介死囚，关在大狱之中，如何可以直通皇帝，上达天听，以至于族杀丞相一家，为自己报仇？合理的解释是，汉武帝早就等着这么一个借口了。
