建元年中，丞相以景帝疾时诸官囚多坐不辜者，而君不任职，免之。--《史记·万石张叔列传》
汉武帝对于这位老资历，且对于自己诸多限制的丞相，并没有什么私愤，两个人不过是政见不同。但是汉武帝需要的是对于自己的主张不折不扣执行的人，因此这个卫绾的丞相是做不长的，但是罢免百官之首，必须要有充分的理由，否则会造成朝野震动。
窦太后的权威：窦太后之威难以撼动，唯有等到她自行放弃权力。
对于权力的争夺，从来都不温情脉脉，而是充满了血腥。卫绾被免职尽管无情但并不算残酷，下面发生的一幕，让汉武帝急于夺权的心有不得不安分一点。
二年冬十月，御史大夫赵绾坐请毋奏事太皇太后，及郎中令王臧皆下狱，自杀。丞相婴、太尉分免。--《汉书·武帝纪》
