小时候，张汤的父亲有一次外出时，让儿子在家里边看守财物。等到他父亲回来后却发现家里的肉不见了，于是怀疑张汤偷吃了，便打了他一顿。小小年纪的张汤十分不服气，把老鼠洞挖开，抓到了一只偷肉吃的老鼠立案拷掠审讯这只老鼠，传布文书再审，彻底追查，并把老鼠和吃剩下的肉都取来，罪名确定，将老鼠在堂下处以磔刑。这一幕令一旁的父亲看呆了，之后便让他帮忙写一些治狱的文书。
父亲逝世后，张汤继承了他的官职，开始担任长安吏。因为曾经营救过周阳侯田胜，田胜在出狱后便将张汤推荐给贵族们结识，最后又被推荐给了丞相，开始担任茂陵尉，其办事能力颇受好评！
武安侯田蚡担任宰相后，听说张汤十分有能力，便征召他为丞相史，之后又推荐给了汉武帝，开始担任御史。在追查陈皇后巫蛊之案时，张汤办事十分妥当，令汉武帝深为赞许，并在不久升任为廷尉。从此之后，张汤成为汉武帝打击贵族豪强、维护汉朝统治的重要工具！
