其实这是战术风格，大不了各抒己见吗，但是卫青忽略了一件事，汉武帝的年纪越来越大了，他想在有生之年将匈奴一举歼灭。于是卫青就想维稳，想劝说汉武帝这个想法。可是汉武帝此时已经被霍去病的胜利冲昏了头脑，在霍去病横冲直撞直捣匈奴王庭的时候，这种感情越发的强烈了。因此汉武帝很快否决了卫青的提议，希望以霍去病为将主导覆灭匈奴的战争。结果霍去病英年早逝，彻底使汉武帝失去了覆灭匈奴的机会，因而汉武帝对卫青有所不满。
这些不满其实也动摇不了卫氏家族的根基，毕竟卫青的家族在当时还是比较强盛的。但是在当时的环境下，卫氏家族已经失宠了。早在十多年前卫子夫由于年老色衰已经失宠了，这给卫氏家族可谓是雪上加霜。其实这也没什么，但是此时要明白卫氏家族的两大灵魂人物之一的霍去病早就去世了，这就对卫青一系很严重。毕竟单靠一个卫青怎么能撑起卫氏家族，况且卫青还失宠了。
其实按照汉武帝的风格是不太愿意对卫青家族动手的，毕竟人家卫青也跟着他干了一辈子，总不能让功臣寒心吧！但是卫氏家族实力太强势了，让汉武帝及其忌惮。据史料记载，光跟着卫青封侯的功臣就有二十多人，再加上卫青家族还有六人之多，连卫青刚出生的儿子都是关内侯，可谓兴盛到了极致。于是汉武帝想起了汉朝前期的外戚干政，因此汉武帝对卫青是又爱又恨。
汉武帝经过了深思熟虑后，决定还是不对卫青动手，毕竟还是一家人。但是这一切在卫青病重后发生了改变，本来汉武帝以为卫青会熬到他去世，结果由于积年累月的伤势使得卫青迅速的衰老，之后卫青便遗憾的去世了。汉武帝在悲痛之下就暂时放下了对卫氏家族的担忧。
但是祸患终究来临了，汉武帝在李广利投降匈奴后脾气越发的古怪，经常会想念霍去病，甚至对霍光寄有厚望，可终究霍光不是将才。在加上巫蛊之祸爆发后，汉武帝对卫子夫和太子刘据颇为恼恨，由此加深了对卫氏的怨恨。于是清算开始了，卫青长子卫伉因连坐被杀，而卫不疑、卫登等被夺去王侯之位。从此卫氏家族就此泯灭。
或许汉武帝还是念及旧情，并未对卫氏家族赶尽杀绝。在汉宣帝继位后，卫氏家族被“皇帝诏命复家”，卫氏一族得以延续。
