但可惜的是，此时汉朝内部不久之前却发生了"巫蛊之祸"，连京都长安都互相杀来杀去，内部的动荡，自然要影响前线对匈作战的良好开局。
巫蛊之祸这件事，大致就是当时汉武帝已经年老，对太子刘据有所猜疑，最后被小人江充利用，以为太子以巫蛊之术诅咒自己，演变成父子之间互相残杀的惨剧，顺带着牵连了一大帮人。
太子刘据倒台了，这就让李广利这个昌邑王的舅舅看到了夺嫡的希望。李广利当时一想，既然太子死了，那我外甥是不是就有机会上位了？于是就和亲家兼丞相的刘屈氂串通，想要扶保李夫人的儿子昌邑王上位。
李广利出征之后，刘屈氂以巫蛊之术诅咒汉武帝，希望汉武帝可以早点死，但结果却被汉武帝给发现了，直接下令彻查，很快就顺藤摸瓜，查到了李广利身上。
当时李广利已经率军北上，没法惩治他本人，所以汉武帝就将李广利留在长安城的家人全都抓了起来。李广利一听到这个消息，自然是慌乱异常，便想着立一个大功，能够将功赎罪，让汉武帝宽恕自己。
