武帝虽赦其死罪，而太子地位却被废了。江充也因此进入到了汉武帝的视线中。
江充请求出使匈奴。汉武帝问他有何打算，回答是"出使应因变制宜，以敌为师，事情不好预先打算。"汉武帝任命他为谒者，出使匈奴归来后，就拜为直指绣衣使者，督捕三辅境内的盗贼，监察豪贵们的越礼过分行为。
其实所谓绣衣使者就是后来的特务机构，当然这种东西其实历朝历代都有，只是不闻名罢了。成了绣衣使者，江充也自然就成了汉武帝的心腹。
在江充担任"直指绣衣使者"期间，他大肆抓捕京城周边的盗贼，禁止贵族骄奢淫逸僭越皇家尺度。凡是皇亲国戚、大家豪族有奢侈僭越的，江充一律向汉武帝举报，并且将其车马没收，甚至将这些犯罪者没入军中以备攻打匈奴。
