可是晚年时的汉武帝却更加昏庸无道，他追求长生不老，听信方士，又任用江充等奸臣，最终导致巫蛊之祸。太子和卫皇后被汉武帝逼死，受到株连的人多达上万，然而当汉武帝醒悟过来以后，他才发现自己沾满了亲人的鲜血，即使他诛杀江充等人，一切却已经悔之不及。
这些都让汉武帝心灰意冷，不过最终让他下定决心颁布《轮台诏》的，是李广利的投降。李广利是汉武帝的爱将，但他却远不如卫青、霍去病等人，他不过是依靠自己的妹妹是汉武帝的宠妃才获得汉武帝重用。《史记》记载李广利说他第二次远征大宛时"非乏食，战死不甚多，而将吏贪，不爱卒，侵牟之，以此物故者众"，然而即使是这样的庸碌之将，却依旧能够得到汉武帝的重用，足以说明此时的汉武帝已经不复之前的贤明。
征和三年，也就是汉武帝下《轮台诏》的前一年，李广利再次被命率领大军讨伐匈奴，然而在他出兵之前，他与宰相刘屈氂密谋立昌邑王为太子，事发以后，刘屈氂被腰斩，李广利的亲人则被汉武帝关押。事实上李广利作为大军将领，按照惯例他的亲人本就要受到朝廷控制，以防前线将领叛逃。不过在这敏感的时期，此事让李广利非常害怕，宰相的下场历历在目，李广利惧怕被汉武帝处死，于是他急促出击，希望大败匈奴，建立战功，以求汉武帝饶恕他的罪过。
