李广利跟身边人商议了一下，他们觉得连郁成城都没有办法拿下，攻打大宛都城就更不可能了。认清客观现实后，李广利等人擅自做主，带着部队撤退，一路逃回了敦煌，此时其手下士兵只剩下十分之一。在这种情况下，李广利派遣使者，给汉武帝那边送了一份奏章。大概意思是说，讨伐大宛的路程太多遥远，我们的士兵不害怕打仗，但是害怕饿肚子。现在兵力少得可怜，实在没有办法继续进攻了。
李广利也没有彻底放弃攻打大宛的目标，他只是希望能够回国休养一下，然后带领更多的士兵，重新发动战争。结果汉武帝得知此事后，勃然大怒立刻派遣士兵封锁玉门关。如果李广利等人敢进关的话，可以直接就地正法。汉武帝之所以下达这样的命令，主要是因为撤兵会折损自己的颜面。如果连大宛这样的小国家都搞不定，其他国家肯定会耻笑大汉王朝。李广利害怕被汉武帝杀害，不敢直接回国，于是带着士兵留驻敦煌。
