但是，盛极必衰，这是世间常态。卫青能保证自己生前富贵不失，但他不能保自己身后事了。在卫青去世后三年，汉武帝任命卫青的姐夫公孙贺为丞相，汉武帝和公孙贺的个人关系很好。但公孙贺在接到任命的时候还是被吓得叩头不止。当丞相，却对不是什么好差事。公孙贺在做了十一年丞相之后，被杀。这是卫氏家族衰落的开始。当然起因还是因为子弟教育的问题。卫青和公孙贺都十分谨慎。但他们都忽视了对子弟的教育。卫青的长子卫伉先后两次被剥夺侯爵。公元前92年，公孙贺的儿子公孙敬声贪赃枉法而被捕入狱。公孙贺为了救儿子，就想方设法抓到了一个通缉犯，希望以此来为儿子赎罪。结果，这个叫朱安世的通缉犯被捕后却诬陷公孙贺一家诅咒汉武帝，还告发公孙敬声和阳石公主通奸。汉武帝大怒，公孙贺父子死于狱中，家属被诛灭。卫伉也受到牵连而被杀。不久，卫子夫的两个女儿阳石公主、诸邑公主也都因此牵连而死。
卫青人品高尚，人缘很好，也很低调，从不持功傲上，不存在兔死狗烹的原因。汉武帝晚年笃信鬼神迷信，做了很多糊涂事，因蛊毒之害被牵连杀害的有几万人，只能说这就是人治的最大危害。
卫子夫之死是因为江充挑拨导致巫蛊之祸，其中死的人多了，包括太子刘据，汉武帝的2个女儿，2个孙子，若干孙女，甚至连重孙都投入大牢。卫青某儿子受到牵连也在所难免。
卫家的人都比较低调。最后是霍去病之弟霍光，汉武帝的托孤重臣，霍光的老婆和女儿害死了汉宣帝（卫子夫的重孙）的发妻许皇后，霍光那时候已经死了，他的老婆儿子想要谋反，才被族灭。霍皇后也被废。
