但是，卫青的平易柔顺，以及其标准的外戚身份，导致了世人对他的贬低性评价--尤其是同情李广李陵一家，痛恨汉武帝穷兵黩武的司马迁更是直接贬低了与汉武帝几乎一体的卫青。
正如宋代史学家黄震所言：凡看卫霍传，须合李广看。卫霍深入二千里，声振华夷，今看其传，不值一钱。李广每战辄北，困踬终身，今看其传，英风如在。史氏抑扬予夺之妙，岂常手可望哉？
笔者认为，明代史官陈仁锡的评价是非常公正的：太史公极不满武帝开边生事，恩幸滥宠，而卫霍二将却正坐此，故篇中屡有微言。然白登之围，天骄之横，向非卫、霍两将军，终汉之世边境无宁日矣。卫霍之功安可以外戚没乎？且卫霍纵能以外戚贵，宁能以外戚胜乎？使帝以外戚之嫌裁减封爵，何以竞才之用，何以为武帝乎？传中屡以"皇后"为言，何其浅也。须知武帝不独以戚贵青，青亦不独以戚呈身。
相反，卫青之所以要"谨言慎行，逆来顺受"，而从没像文人向往的那样"将在外，君命有所不受"，对武帝有所忤逆，正是卫青值得肯定的地方。要知道，他面对的可是千古一帝刘彻，历史上少有的大独裁帝王之一。远的不说，就说汉文帝时期的周勃之子周亚夫，他治军够严，强调"军中但闻将军之令，不奉天子之诏"，敢于把文帝的车驾阻挡在军门之外。但结果呢？活活饿死！
卫青遇上了更难对付的汉武帝，所以无论是性格，还是现实，都逼迫他要"圆滑"，要"谨言慎行"--今天，我们已经不能确定，卫青这样的性格究竟是出自本色的成分多，还是出自"伴君如伴虎"的心理多。
