随着卫皇后年老色衰，汉武帝对她的亲情日渐减少，不过得益于卫青、霍去病舅甥俩对汉王朝的卓越贡献，以及卫青低调谦逊、宽宏大量的作风，高处不胜寒的卫氏，地位仍不可撼动。
不过随着霍去病、卫青的相继去世，情况起了变化。
公元前92年，卫家的姻亲、汉武帝的宠臣、时任丞相公孙贺家出事了，他的儿子公孙敬声由于挪用军费被捕下狱。公孙贺为了替儿子立功赎罪，主动请求负责抓捕汉武帝正要缉拿的侠客朱安世。
获得准许后，公孙贺顺利抓到了朱安世。但对方不仅不惊慌，反而嘲弄着说："公孙丞相，您马上就要祸及全族了！"随后他从狱中上书一封，声称公孙敬声与阳石公主私通，并且埋下木偶诅咒汉武帝（阳石公主是汉武帝的女儿之一）。
第二年正月，公孙贺被逮捕下狱，其后坐实了罪名，父子二人都死于狱中，随后被灭族。到了四月，诸邑公主、阳石公主，以及卫青的儿子长平侯卫伉，都因这起案件被连带处死。
