汉武帝尝试提点拉拢霍去病，要教他孙吴兵法，霍去病也给拒绝了。这一切，让汉武帝有了清除卫氏外戚的想法并付诸于行动。第一件事就是安排霍去病病死，具体死因是病死、还是毒死，还是其他莫名其妙的死，已经没有办法得知。霍去病去世后的一些列事件也印证了汉武帝清除卫氏外戚的说法。
“自去病死后，青长子宜春侯伉坐法失侯。后五岁，伉弟二人，阴安侯不疑、发干侯登，皆坐酎金失侯。后二岁，冠军侯国绝。后四年，元封五年，青薨，谥曰烈侯。子伉嗣，六年坐法免。”
卫氏一族的几个侯爷都逐渐被废，真正的高潮是在汉武帝晚年由绣衣使者江充炮制的“巫蛊案”，削弱卫氏势力，都削到了太子身上。可能汉武帝也只是想敲打一下，没有想过太子会奋力一搏，而消息不通，天家父子之间终于反目，卫氏势力凋零殆尽。
汉武帝虽然痛悔过往，下《罪己诏》，建思子台，晚景凄凉，但是当他立刘弗陵为太子时，还是执意要杀掉钩弋夫人。汉武帝的杀母立子以避免外戚掣肘的做法如此决绝，与汉武帝早期的经历不无关系。这一点也可以看成是汉武帝立储的真实态度，霍去病的死因，可能是这种态度转变的一个起点。只是，汉武帝雄才大略，寻常人等无法猜透的帝王心思，即使司马迁猜透了也不敢写，即使写了也未必能留下来。
霍去病虽死因成谜，不妨碍这位少年帅才的英姿勃发，千古以来，封狼居胥成为武将的至高荣耀。“匈奴未灭，何以家为”也一直激励着后世的爱国者们，努力奋斗，砥砺前行。
