卫青受到的恩宠功劳越大，他的家族势力就越来越庞大，自然就引起了朝天中很多人的不满，毕竟那个朝堂之上少不了勾心斗角。而功高盖主是每个皇帝最忌惮的事情，遇到一个明君，还可以对此包容和信任，但是要是遇到一个昏君的话，他就会担心这个功臣实力太大会造反，来谋权篡位，因此会采取一些极端措施。
而随着卫青家族势力的不断壮大，汉武帝刚开始也是有所顾忌的，卫青掌控着朝廷军权，而卫子夫又掌握着整个后宫。要知道大汉刚建立时就发生过吕雉把持朝堂之事，汉武帝的前任，也被窦氏所把持，这些都和朝堂里的家族势力分不开的。因此汉武帝表面不说，内心肯定非常忌讳，也是非常痛恨的。卫青在世的时候，因为他为朝廷出过不少力，有很大的功劳，汉武帝只能选择信任他，毕竟要杀掉一个这样的大功臣，对于大臣和百姓是没法交代的，也会损害自己的明君名誉，另外如果真逼得造反了，那就是得不偿失。
