日渐年迈的卫青被封为大司马，大将军，并掌管太尉之职。那个时候的卫家在汉朝是真正的巅峰，就连刘姓宗室也不能与之匹敌，因为外宫有卫青，内宫有皇后卫子夫，东宫有太子刘据，由此可见卫家在当时有多么显赫。但卫青深知自己家大业大为汉武帝所忌惮，因此从来不豢养门客，不参与朝政大事，甚至很少结交朝廷大臣，一心一意地做一位孤臣。
公元前106年，卫青逝世，谥号为烈！公元前91年，丞相公孙贺的儿子公孙敬声被人诬告以巫蛊咒语暗害皇帝并且与阳石公主通奸，汉武帝让宠臣江充查证此事，至此，汉朝历史上最大的浩劫--巫蛊之乱正式开始！
经过长达一年的混乱，汉武帝的皇后卫子夫，太子刘据相继自杀，丞相公孙贺全家也被诛杀，卫子夫的另外一个女儿诸邑公主也被牵连进去因酷刑而死。但最为重要的是，因为巫蛊之乱所牵连的人实在太多，其中自然包括卫家，而卫青长子卫伉更是难辞其咎因此同样被诛杀，经过巫蛊之乱后卫家在朝堂上的势力直接被连根拔起，自此汉朝再无掌权的卫氏一族（霍光是霍家，与卫家无关）。
