在汉朝首都长安求官期间，富平侯张勃看中他的才能，于元帝初元二年上荐他为茂材。后来因未能为父奔丧被举报罢官。
或许是天无绝人之路，是金子总会发光，朝中有位大臣再次向汉元帝推荐了陈汤，就这样陈汤被放了出来。出狱后的陈汤主动要求去又穷又乱的西域，朝廷正愁没人愿意去西域呢，陈汤倒好，自己给送上门了。
陈汤被任命为西域都护府副校尉，随着校尉甘延寿一起去西域，此时的西域是匈奴人的天下，汉朝还没能一家坐大。行军的途中，陈汤收到一条坏消息，护送郅支单于儿子的汉朝使者谷吉等人被杀了，郅支单于认为汉朝山高皇帝远，再怎么也打不到西域来。只是郅支单于完全忽略了陈汤这个因素，得知使者被杀的陈汤很是气愤，虽然朝廷不打算追究，但陈汤却没打算放过郅支单于。
