这样一来，卫青家族就逐渐被冷落，而霍去病的声望却如日中天，这是汉武帝希望看到的。但这却是卫青最不愿接受的，他曾经备受宠信，怎能忍受这般落差。卫氏和霍去病的关系自然就越来越差了，但霍去病很注重情感。他虽为人沉默寡言，看起来很高傲的样子，也没什么交心的朋友，但越是这样的人越渴望被爱。
看着和亲人日渐疏离，对霍去病来说是很大的打击。若是有什么办法修复他们的关系，他是愿意尝试去做的。对于像他这样一个孤独的人，是很容易做一些冲动的事。要是有人稍加劝诱，他是极有可能会走向自我毁灭这一条道路的。这一生就是为什么当霍去病死后，汉武帝并没有怪罪任何一个人，很有可能他是知道其中的缘由的。至于司马迁为何只在写下一个"卒"，而不作任何的解释，或许他也知道真正的原因，毕竟他正是生活在那个时代的人，只是不敢把它写上去罢了！
