事实上，卫青之谨慎，已经把二人的君臣关系转化为主奴关系。致使宋代的苏轼在《君使臣以礼》犹不平：“武帝踞厕而见卫青，不冠不见汲黯。青虽富贵不改奴仆之姿，而黯社稷臣也。”就是说，你卫青位高权重，姿态还是像个奴仆，而汲黯这种没能被任用的，反而是真正的社稷臣，值得尊重。更在《东坡志林》卷四里说道：“若青奴才，雅宜舐痔，踞厕见之，正其宜也。”把人家出生入死的大司马大将军说成是舐痔小人，这也太狠了。
元狩六年时，当了两年大司马的霍去病病死。而在此后，汉武帝再也没有派卫青出征。接下来，卫青的长子宜春侯卫伉坐法失侯；后来，卫青的两个小儿子与卫青的大姐夫公孙贺都丢掉了爵位。开始的一门五侯，只剩下卫青一个了。
而且，对卫青及卫氏家庭的打击，绝非偶然，很难说，这些打压，不是一局大棋。
这样大家能理解了吧？为什么卫青权势那么大，还是胆小如鼠？那是因为，在汉武帝这样的强势君王面前，他想自保，想给家族留一条活路啊。但是，这能管用多久？
