卫家的势力说来复杂，当年汉成帝驾崩，汉哀帝登基，当时，朝中的外戚势力王家丝毫不当回事。在汉成帝丧礼期间，王家的王根仍然纵情享乐，宫内其他人也无可奈何。王根是汉成帝母亲王政君的异母弟，可见，在当时人的风俗中，舅舅和外甥是极为密切的至亲骨肉，即使是非嫡亲舅舅，也应该尽骨肉的义务。
而汉武帝遇到的问题与汉哀帝相似，他立卫子夫为皇后，生下嫡子刘据，而后立为太子。而卫青则是刘据舅舅，那么，刘据这么算来是卫青的至亲骨肉。再加上，卫青娶汉武帝姐姐平阳公主为妻，家内三子尽皆封侯；丞相公孙贺为卫子夫姐夫；大司马霍去病是卫青外甥。这些人物关系因为婚姻、血缘、军功，渐渐形成了一个利益共同体。
如此复杂庞大的利益体，使得汉武帝必须重视，否则，将会重蹈覆辙，使汉朝被外戚势力控制，到时候他必然成为大汉罪人。在卫青还活着的时候，汉武帝已经开始限制其手中权力，比如：设立大司马官职，将卫青与霍去病皆加于此官，二人权力相等。
