然而可悲的是，常惠刚刚准备大展拳脚，便受到了使团同事张胜的牵连，卷入一场匈奴国内的政变。最终，张胜等人在匈奴人的利刃面前屈服，唯独只有苏武和常惠仍然坚持了自己的原则。随后，苏武和常惠被分别看押，而这一看押，就是19年。
始元六年（前81年），在霍光的操作下，汉朝终于掌握了苏武等人的下落。而最终，作为苏武随从的常惠，也一同返回了汉朝。刚去匈奴时，常惠还是个血气方刚的青年。而如今，他却须发皆白。在古代人眼里，他已经进入了老年。
然而年纪的苍老并没有按捺住常惠的进取之心。在匈奴19年，常惠吃尽了苦头，然而他也就此深入匈奴社会，成为了一个真正意义上的"匈奴通"。对于游牧民族的习惯、心理和战术，常惠早就谙熟于心。
因此一回到汉朝，常惠便再次得到起用。公元前72年，远嫁于乌孙的和亲公主解忧公主上书说："匈奴出动骑兵在车师围猎，车师与匈奴勾结在一起，共同侵略乌孙，请天子救救我们。"汉朝准备军队与战马，商议进攻匈奴，正遇上汉昭帝驾崩，汉宣帝即位。
