卫青身为长平侯，死后本来就该长子继承爵位。因为和正妻（历史上记载的唯一正妻就是平阳公主）没有子嗣，所以卫伉袭爵成为长平侯，根据汉制，次子卫不疑也有一定的福利享受，虽说此时平阳公主、卫青，还有表哥霍去病都不在了，但是卫子夫、太子刘据尚且还在，一家子还是地位崇高。
那么卫家如果不想出现卫青死后就造成权力断层的悲剧，理应是，卫伉努力接上，尽早成长起来成为朝廷中坚力量。
但是卫伉后来却做了一件事情，把长平侯都给丢了，导致卫青一脉失去了最后一个侯爵之位。
宜春侯伉，五年四月丁未以青功封，元鼎元年坐挢制不害免，太初元年嗣侯，五年阑入宫，完为城旦。
丢掉了一次侯位，卫伉在继承了长平侯之后，竟然还没有门禁冲入皇宫。当时进入皇宫需要门卡，这门卡大概是要皇帝给才能有，但是卫伉却又不知道因为什么原因非法进宫，此事导致长平侯位也被削掉，卫伉本人也被发配去修城池，汉武帝让卫伉去做苦力以示惩罚。
