卫伉在公元前124年的时候，被汉武帝封为宜春侯，到公元前116年的时候，他因为坐"矫制不害"被免侯。所谓"矫制不害"，就是擅自发布或者改动皇帝的命令。"不害"就是还没有造成伤害。当时卫伉究竟是受谁的牵连被免侯，历史上并没有记载。第二年，也即是公元前115年，平阳公主死了第二任丈夫，接着不久，嫁给卫青。
公元前106年，卫青去世后，汉武帝让卫伉继承他爹的爵位，为长平侯。卫伉能够承袭他父亲的爵位，是因为汉武帝看在卫青的面子上，还是看在平阳公主的面子上，实在不好说。如果说是看在平阳公主的面子上，那么，卫伉显然是受益者。
不过，卫伉这个爵位并没能保住，在公元前99年的时候，卫伉因为"阑入宫"，也就是没有带符籍就入宫（相当于擅自入宫），再次失去爵位。
这时候，平阳公主是否还在世上，并不确定。史书上只是记载平阳公主在去世前，说要和卫青埋在一起，并没有说是什么时候去世的。
