早在卫青崛起时，汉武帝就想过培养霍去病，然后把霍去病分化出卫氏外戚。首先，汉武帝将卫青和霍去病都升职为大司马，这样霍去病就和卫青同级了，按理说，一山不容二虎，他们会发生隔阂，谁知霍去病对自己的舅舅，也就是卫青特别敬重，甚至还因为李敢袭击卫青，一箭把李敢射死。可以说，汉武帝使用的这个方法在霍去病身上完全没有效果。
然后汉武帝又想出一个办法，那就是扶持其他外戚，以相互制衡。汉武帝开始扶持宠妃李家，任命李夫人的哥哥李广利为大将军，可是这次汉武帝又打错算盘了，李广利用兵打仗真的是和卫青、霍去病差十万八千里，屡战屡败。
步入晚年的汉武帝越来越发现，自己的权力在一点点流失，而卫家外戚越来越壮大，这对于汉武帝来说是不能忍的，于是不惜一切削弱卫家势力。
