按说一般人被剥夺爵位侯，很难再东山再起。然而，因为是皇帝的亲外甥，加上父亲的影响力，他们被再次封爵。放在任何人，都会痛改前非，谨慎做人。
人往往有好了伤疤忘了痛的毛病。卫伉在继承父亲爵位后，不知收敛，还更加恣意妄为。天汉二年（前99年）的一天，他要进宫，走至宫门才发现没有带符籍。按说这是官吏们不能违背的规矩，而他依旧大摇大摆地走向宫内。门外守卫秉公办事，不让他进入。没想到卫伉大闹皇门、强行进入，压根就没有把门卫放在眼里。这件事情传到汉武帝耳朵了，武帝勃然大怒，拍案而起，立刻削了他的爵。
葬送了自己的前途不说，卫伉把自己的命运交给了别人。
前91年（征和二年），公孙敬声（丞相公孙贺和卫青大姐--卫君孺的儿子）自以为权高位重，不守规矩，擅自动用军费1900万钱。汉武帝刘彻非常恼火，下令抓了他。
这时候，公孙贺提请皇帝批准自己追捕通缉犯朱安世，想将功补过，换得儿子平安无事。
