父亲逝世后，张汤继承了他的官职，开始担任长安吏。因为曾经营救过周阳侯田胜，田胜在出狱后便将张汤推荐给贵族们结识，最后又被推荐给了丞相，开始担任茂陵尉，其办事能力颇受好评！
武安侯田蚡担任宰相后，听说张汤十分有能力，便征召他为丞相史，之后又推荐给了汉武帝，开始担任御史。在追查陈皇后巫蛊之案时，张汤办事十分妥当，令汉武帝深为赞许，并在不久升任为廷尉。从此之后，张汤成为汉武帝打击贵族豪强、维护汉朝统治的重要工具！
正所谓有得就有失，张汤打击豪强贵族势力讨好了汉武帝，却把那些皇亲贵族们都得罪了遍，不少人都对张汤咬牙切齿，想要除之而后快。
元鼎二年十一月（公元前116年12月），由于御史中丞李文及丞相长史朱买臣的诬陷，汉武帝多次派人责备张汤，张汤都予以否认。不久，汉武帝又派赵禹前去责备张汤。他对张汤责劝道："您怎么就不知道分寸了呢？您与那么多人结怨，如今他们指控你的事情都有根据，皇上很重视您的案子，想让你自己妥善处置，为什么还要多次对证呢？"
