这个故事不是司马迁写的，而是褚少孙所补，真实性不无争议。但如果是假的，则更能说明问题：卫青已经成了不会识别、选拔人才的代表，人们讲述一个权贵有眼无珠的故事的时候，会把卫青当作"箭垛人物"，是他不是他，反正算他账上就对了。至于霍去病，他活跃于历史舞台的时间更短暂，作风更张扬跋扈，当时的风评，还远远不如卫青。
我们可以大致确认一件事：对良家子、士大夫这些群体来说，卫青、霍去病本来就是大家私下里群嘲讥讽的对象，而不是推崇的偶像。而司马迁，正是一个出身良家子的士大夫。所以我们也许可以换个角度理解《佞幸列传》那句话，司马迁不是刻意要在《佞幸列传》里黑卫青、霍去病一句，而是他有必要向心目中的读者解释，自己为什么要另外写一篇《卫将军骠骑列传》，而不是就把他们放在佞幸队伍里。
因为他们"颇用材能自进"，和那些单纯的佞幸是不一样的。如果对他们真的只有厌恶和鄙视，司马迁大可以在《匈奴列传》里顺便把卫青、霍去病的事迹讲完，就好像《史记》里只有《大宛列传》而没有单独为张骞立传一样。只是现在时过境迁，有太多人理所当然认为卫青、霍去病就是万众景仰的名将，所以感受不到司马迁这种辩解的必要而已。
毫无疑问，在李广家族和卫青、霍去病的冲突之中，司马迁的感情偏向李广一边，甚至于可以肯定地说，他不怎么喜欢卫青尤其是霍去病。所以在为卫霍立传的时候，不可能像《李将军列传》那样，仿佛寄托着无穷的积郁与叹息。但在《卫将军骠骑列传》中，我们还是可以读到这样的文字：
赵信为单于谋曰："汉兵既度幕，人马罢，匈奴可坐收虏耳。"乃悉远北其辎重，皆以精兵待幕北。而适值大将军军出塞千余里，见单于兵陈而待，于是大将军令武刚车自环为营，而纵五千骑往当匈奴。匈奴亦纵可万骑。会日且入，大风起，沙砾击面，两军不相见，汉益纵左右翼绕单于。单于视汉兵多，而士马尚强，战而匈奴不利，薄莫，单于遂乘六骡，壮骑可数百，直冒汉围西北驰去。时已昏，汉匈奴相纷挐，杀伤大当。汉军左校捕虏言单于未昏而去，汉军因发轻骑夜追之，大将军军因随其后。匈奴兵亦散走。迟明，行二百馀里，不得单于，颇捕斩首虏万余级，遂至窴颜山赵信城，得匈奴积粟食军。军留一日而还，悉烧其城余粟以归。
