卫青死后汉武帝必然会打压卫氏家族，这主要是为了防止外戚专权，为了防止当年吕后之乱再次上演，所以打压可以理解，但是没有必要做的这么绝呀。主要是因为在卫青死后还发生了一件事，那就是汉武帝晚年的时候开始宠幸小人，即便像他一样英明神武的皇帝，但是最后还是不可避免的会犯错。
他宠幸小人江充，这个江充因为长得帅而到的汉武帝的喜欢，此后就依仗着这份恩宠而变得肆无忌惮起来，有一次太子刘据派了太监去汉武帝那里问安，结果江充发现这太监走的是皇帝专用的“驰道”，所以打算以此汇报给皇帝知道。刘据知道这件事情后向江充求情，江充却并不买他的帐，最后把整件事都汇报给了汉武帝，而江充和刘据之间也由此结下了仇。
后来江充为了自保就开始诬陷太子刘据，当时汉武帝因为宠幸江充，所以对他也很信任，因此在江充说太子行“巫蛊”之事想要早日登基称帝，结果汉武帝听信了谗言。最后太子刘据被逼起兵要杀死江充，后来这件事也得到了卫子夫的认可，所以太子被迫站在了汉武帝的对立面，结果因为兵败而自尽，卫子夫听闻之后也自杀以明志。
这样在卫青死后，卫氏家族只是受到打压，不出意外他们会慢慢淡出汉朝的江山，但是随着太子起兵造反事件，卫子夫死了之后，卫家完全失去了支撑。最后汉武帝也迁怒于很多人，加上很多势力的打压，所以卫家在这次动荡中被诛杀殆尽，最后迅速并且彻底的没落了。
