西域路途遥远，沿途的小国不肯供应汉朝军队粮草，到达贰师城前面的郁成时，士卒饥饿之下只剩几千人了，在郁成一战，汉军死伤惨重，李广利不得不退兵敦煌，这时汉军仅剩几百人了，李广利上疏要求罢兵，汉武帝震怒，下令退入玉门者斩，李广利只得带着几百人住在敦煌。
二年后，汉武帝增兵6万，后勤18万给李广利出征大宛，这次打败了大宛，大宛人杀了大宛王毋寡，献了3000多匹马给汉军，李广利班师，此役汉军战死者不多，也不缺粮，但由于将官贪腐、不体恤士卒，回到玉门关仅万余人，军马千余匹，损失惨重。
自此开始汉朝"自敦煌西至盐泽（今罗布泊），往往起亭。而轮台、渠犁皆有田卒数百人，置使者校尉领护，以给使外国者"，这时的西域还是在匈奴控制之下，匈奴在西域设有僮仆都尉专收西域诸国赋税，时间已达百年，汉朝这时屯戍的目的仅仅为了保护过往的使者。
