卫青是汉武帝的爱将，深得汉武帝的信任和恩宠，所以卫氏一族在当时算得上是首屈一指的豪门，卫家一门四侯也成为当时的美谈。任何繁荣的家族都有衰败的一天，盛极一时的卫家在卫青死后，不到十几年的时间就开始逐渐衰落，甚至最后大部分族人都被处死，这又是因为什么呢？
卫青可以说是伴随着汉武帝一起成长起来的，在汉武帝早期就一直陪伴在皇帝身边，时间长达十年。汉武帝对于自己的这个大舅子也是十分的信赖，各种赏赐不断。卫青本人也没有让皇帝失望，立下了很多的盖世功勋，所以卫家最后出了一门四侯。卫青的姐姐还是汉武帝的皇后，外甥刘据又是当朝太子。所以，当时没有一个家族能比的过卫家。
侯爵在汉朝的早期还是很难获得的，像那位著名的老将军李广，辛苦一辈子最后都没封侯。而卫家凄惨的结局，也正是由这个一门四侯所引起的。在古代，外戚擅权是最令皇帝头疼的一件事。卫家作为当时势力最大的外戚，肯定会受到汉武帝的忌惮，这为卫家日后的衰败种下了祸根。
卫青性情温和，为人小心谨慎，他知道卫家势大，为了避免皇帝猜忌，他从不结党营私，也不圈养门客。他的这种做法得到了汉武帝的肯定，所以在卫青在世的时候，从没人敢在皇帝面前挑拨卫家的关系，也没有人敢诬陷太子刘据。但是在卫青死后，卫家的形势就开始变得严峻起来。
