但是，总归来说，卫家为西汉王朝贡献不少功绩，单说卫青，作为西汉大将军，多次发动剿灭匈奴之战，战功无数，威望极高。此时，汉武帝就算想要动手，也要顾及军中将士的心情，怎可能会轻易夺权。况且，当时正值用人之际，汉武帝自然不会内斗斩将，便宜了北方匈奴。
当时的汉武帝内心是极为矛盾，他是极有权力欲望的皇帝，不可能容忍别的势力威胁到自己的皇权。但是，眼下又不能对卫家动手，以防卫青作出过激行为，最终，汉武帝只能眼睁睁看着外戚势力不断壮大。直至卫青死后，他才开始向卫家动手，打击外戚势力，加强皇权。
其实，西汉从建立之初，便一直有外戚干政的传统。如：吕后、窦太后，这二位对朝廷的控制可是完全不亚于武则天、慈禧。
换言之，外戚干政的后果，便是皇帝成为傀儡。汉武帝抱有雄才大略，自然不甘历史重演，在初期他与窦太后针锋相对，毫不退让。那段时间也让汉武帝明白："外戚并不可信，江山只有把控在刘家人手中，才得以永固。"
