这样一直过了几十年，到公元前60年汉宣帝时，匈奴左部日逐王与右贤王屠耆堂（后来的握衍朐鞮单于）不和，日逐王投降汉朝，汉朝开始设立西域都护府，郑吉为第一个西域都护，驻地在乌垒国（今新疆轮台以东），取代了匈奴的僮仆都尉，保护西域诸国，西域都护和匈奴僮仆都尉不同的是不向西域诸国征赋税，匈奴势力退出西域。
郑吉之后西汉先后有18位西域都护，史书有记载名字的10位。到王莽时，因王莽和匈奴断绝关系，匈奴大举入侵西域，新朝势力退出西域。
汉光武帝时，因匈奴向西域诸国征税太重，西域诸国要求汉朝重设西域都护，东汉于公元74年重设西域都护，以陈睦为都护，但第二年焉耆王广和龟兹王建围攻西域都护，杀西域都护陈睦及吏士二千余人，于是西域都护撤销，直到公元91年，班超平定西域后为东汉第二任西域都护，班超回国后经两代西域都护，107年西域诸国反，东汉因路途遥远加之和羌人发生战争，于是废弃西域都护，此后再未设立。
西域都护的两废和匈奴有关，第一次因匈奴和新朝关系破裂，匈奴的攻击使新朝退出西域：第二次虽不是匈奴攻击，但东汉退出后，北匈奴控制了西域。
600多年后，唐朝才将西域归于安西都护府和北庭都护府管理，安史之乱后西域脱离中原王朝控制，直到满清乾隆1759年时中原王朝才又开始控制西域，并改名"西域新疆"，简称"新疆"。
