这卫绾，可以说是三朝元老。汉文帝时，他是文帝的驾驶员，有高超的弄车之技；汉景帝时，做过三年宰相。他还是武帝的老师。
卫绾从开始当官直至位居相位，始终没有建树也无过失。所以皇帝们都认为他敦厚老成，对他很是尊重信任，赏赐也多。
年轻的武帝即位后不久，就想大展抱负，下诏"举贤良方正能言直谏之士"。这时，卫绾提出在所举的贤良文学方正之中，罢除法家和纵横家这两个学派的学者。
虽然卫绾没有像董仲舒那样，直接提"罢黜百家"，但依然引发窦太后的不满，几个月后，找了个借口说，当初景帝卧病之时，官府中多有无辜受冤的囚犯，当时身为宰相的卫绾，未能负责替他们申冤。
卫绾因此被免去相位。不过，祸福相依，卫绾也因此得以善终。
