然而好景不长，出道即巅峰的霍去病，在年仅二十四岁的时候就骤然离世。关于霍去病的死因，大家有很多猜测，有人甚至提出是汉武帝毒杀了霍去病，因为其功高盖主，汉武帝无法继续封赏，所以只能通过一些见不得光的手段将他除去。
这种阴谋论虽然乍看起来有理有据，其实不然，因为霍去病死后，"汉方复收士马，会骠骑将军去病死，於是汉久不北击胡。"汉武帝对于战胜匈奴的渴望极高，霍去病的死直接的后果便是大汉朝再也没有主动出击匈奴的实力，所以霍去病的死，绝对不是汉武帝想看见的事情，至少在当时汉武帝还不会希望霍去病死。
霍去病死后，准备好的远征匈奴军事行动取消，而没有选择让卫青率军出征，很可能当时的卫青也重病缠身，因为卫青已经有几年没有出征了，全都是霍去病作为统帅， 带兵征讨匈奴。
