可以说在卫青的成就下，卫氏一族成为了武帝时期最有权势的家族。在当时大汉的皇后是卫青的三姐卫子夫，大汉的太子是卫青的外甥刘据，大汉的丞相公孙贺是卫青的姐夫，大汉的平阳公主是卫青的妻子，大汉的大司马霍去病是卫青的外甥。想想看这是何等庞大的势力。 更甚者卫氏一族最鼎盛的时候，那是一门五侯，卫青三子在襁褓中就被封为列侯。卫青是长平侯，卫伉是宜春侯，卫不疑是阴安侯，卫登是发干侯，霍去病是冠军侯。要知道这些爵位可是大汉二十级爵位当中最高的列侯爵位，是有封国和适宜的，想想看一门有五个侯国，这势力是有多大，卫氏是多么受武帝的恩宠。
当然无论如何，卫家自卫青之后，其“一门五侯”的荣耀就不再出现，而后随着“巫蛊之祸”中卫子夫、刘据、公孙贺等卫氏人相继或被杀，或自杀，卫氏彻底家道中落。而虽然在武帝之后，卫氏一族得到相应的赏赐和关照，但是直到王莽当政的时候，卫氏也只是被赐予了关内侯的爵位，这个爵位远远比不上列侯。要知道当年的卫氏一族可是一门五列侯，所以可想而知卫氏显然已经彻底的衰落了。
