卫青的三个儿子中关于卫伉的记载最多，生平经历也更为详细。卫伉被封侯八年之后，史书记载卫伉因为"矫制不害"而免去侯爵，
通俗点讲，卫伉犯的罪是假传圣旨。汉朝对假传圣旨的惩罚也分为三类，分别是造成巨大危害的判腰斩刑罚，造成一定伤害的判"弃市"，没有造成伤害的判为无罪。而卫伉就属于是没有造成伤害的，所以仅仅是削去侯爵。
卫伉被削去爵位十年后，父亲卫青因病去世，按照规定，卫伉继承了卫青的长平侯，也就是说卫伉再次重获侯爵。
又过六年之后，卫伉因为"擅自入宫"的罪名再次失去侯爵，并且被惩罚到边塞服兵役五年。
