等到卫青一去世，这种信任就大大打了个折扣，另外不断有朝臣上奏说卫氏家族的各种不好，让汉武帝有了一点收拾卫氏家族的之决心。而另外发生的一件事，直接成了卫氏家族灭亡的导火索。那就是汉武帝病重期间，经常出现一些幻觉幻听，遇事有人告诉汉武帝这是巫术，于是愤怒的汉武帝下令彻查此事，这时候卫氏家族的仇人，利用这次机会，设计诬陷了太子刘据要造反的假象，结果汉武帝非常震怒，直接痛下杀手，卫氏家族在一夜之间被灭族，死的死，逃的逃，这个汉朝最庞大的家族，一夜之间走向了覆灭。
伴君如伴虎、功高盖主、树大招风，这些真理在卫青身上得到了淋漓尽致的体现。
