汉武帝为人刻薄寡恩、阴晴不定。霍去病如日中天之时，正式汉王朝对匈奴大举作战之时。正值用人之际，霍去病狂飙突击的战法恰恰又是彼时汉武帝最需要的，是对付匈奴的一柄利剑。为此，汉武帝自然是什么好的都给了霍去病。
但是，一旦匈奴战事结束之后呢？卫青之所以能够善终，是因为处处低调、处处示弱，而且主动放弃了实权，安安分分地接受了被汉武帝逐步架空的事实。同时，汉武帝在自己活着的时候，也想给彼时仍寄予厚望的儿子刘据留下这么一个已经被拔去爪牙、但余威尚在的镇宅纸老虎。平心而论，如果汉武帝临终前卫青还活着，或许不会发生"巫蛊之乱"，但是，卫青能不去善终就很难说了。
再看霍去病，霍去病可不是一个低调之人。如果他他活着，让他学自己娘舅卫青那样甘心当只镇宅纸老虎恐怕很难。那么，与汉武帝发生冲突或者受到汉武帝猜忌只是时间问题。同时，霍去病如果不死，有卫青、霍去病两人酣睡卧榻之侧，而这两人还在军中颇具影响力。恐怕汉武帝真的要睡不着觉了。窦太后与诸窦、王太后与田蚡对汉武帝的影响实在太大，汉武帝绝对不可能让儿子走自己曾经走过的荆棘丛。仅剩一个低调、示弱，且主动交权的卫青，汉武帝尚能忍受。如果再加上如日中天的霍去病，卫霍家族还能不能为汉武帝所容忍，就真的很难说了。
