因为卫青不仅是最重要的军事将领外，更是当朝皇后的弟弟，太子的舅舅。如此三重关系，不难让汉武帝对卫青的感觉发生变化。
众所周知，汉武帝是一个极端独裁的帝王，同时也是一个精通帝王之术的人。在他启用并重用卫青之后，当发现卫青有了威胁感的时候，他便对卫青有了戒备之心。
于是在卫青当了大将军的第二年时，汉武帝便启用了一个新的军事统帅--卫青的外甥霍去病。为了利用霍去病来牵制卫青，汉武帝的倾斜态度是十分明显的。
最为明显的是，元狩二年，霍去病曾一年三次出征攻打匈奴，立下不少的奇功，而卫青却是整整一年都没有出征。
