如果说霍去病是在征北时得了瘟疫，是匈奴人用瘟马死羊污染了水源，而霍去病大大咧咧地误饮了，那么霍去病很快就会病发而死，都回不到中原。从漠北大战结束到霍去病元狩六年去世，中间足足有两年时间，而且也没有见到军士有过大面积瘟疫的记载，不可能只有霍去病得了瘟疫。
霍去病能够快速发迹，以至于和大将军平起平坐，20岁出头的年纪，能做到如此高位，千古以来仅此一人，这不光是天赋异禀就能解释得了的。霍去病形成势力的背后，代表着皇权的意志。汉武帝推出来霍去病，用于平衡军中卫青、政治上卫皇后一家独大的局面。人都是有私心的，一旦形成势力集团，即使亲兄弟都可能反目，何况霍去病和卫青的关系只是外甥呢？
外戚势大难制，汉武帝深有体会。他曾做了7年的“虚君”，有几次皇位都差点不保，这都是外戚势力太强的缘故。现在卫氏一族的势力过于强大，皇后、太子、大将军都是一个集团的，如果霍去病这个山头也偏向了卫氏，那么汉朝的军政势力几乎就要失控了。这从卫青调动羽林军后，立刻引起汉武帝猜疑之心就能得到印证。对于皇帝而言，他不会考虑你是否有造反的意愿，只有具备造反的实力都不会允许。
霍去病杀了李敢。虽然情有可原，虽然在霍去病看来，这也只是弥补与舅舅的亲情的一种手段，但是擅杀将军，而且是已经封了侯的将军，往小了说是恣意妄为，往大了说是藐视皇权。霍去病存在的基础是平衡卫氏势力，可是李敢事件表明，汉武帝立起来的这座山头看起来要与卫氏合流了。霍去病此时又积极在政治上发声，力谏把皇子们都封为诸侯王等，已经让汉武帝意识到年纪太轻的霍去病，立场已经偏向了卫氏外戚集团了。
