然而，汉武帝晚年多次攻打匈奴失败，让大汉王朝不堪重负。征和四年（前89年），桑弘羊等请求在西域轮台屯田，汉武帝下《轮台诏》（轮台罪己诏）否决其议，并对派遣李广利出征匈奴之事表示悔恨。自此，汉武帝不再出兵，开始与民休息，并全面撤回西域驻军，玉门关成为大汉王朝最西边的关卡。
汉朝放弃了西域，匈奴随之再一次控制西域。在匈奴控制之下，汉朝使节、商旅等，经常遭到西域各国劫掠，《汉书》中记载"龟兹、楼兰皆尝杀汉使者"。
傅介子第一次出使西域
元凤年间（汉昭帝刘弗陵年号），霍光有意重返西域，但由于汉朝离开西域10多年，于是找了一个噱头试探西域，即迎回汗血宝马。李广利征讨大宛之后，大宛答应每年进贡一批汗血宝马，但因为汉朝退出西域，所以大宛多年不再进贡，霍光借迎天马之机，有试探了解西域之意。
