正所谓有得就有失，张汤打击豪强贵族势力讨好了汉武帝，却把那些皇亲贵族们都得罪了遍，不少人都对张汤咬牙切齿，想要除之而后快。
元鼎二年十一月（公元前116年12月），由于御史中丞李文及丞相长史朱买臣的诬陷，汉武帝多次派人责备张汤，张汤都予以否认。不久，汉武帝又派赵禹前去责备张汤。他对张汤责劝道："您怎么就不知道分寸了呢？您与那么多人结怨，如今他们指控你的事情都有根据，皇上很重视您的案子，想让你自己妥善处置，为什么还要多次对证呢？"
张汤于是上书向汉武帝谢罪道："臣张汤从写文书的文吏起家，这么多年来并没有什么功劳，却因为受到陛下的宠幸而官至三公，这一点臣是惭愧的，没有什么可以开脱罪责的地方。然而，陷害为臣的是丞相府的三位长史。"随后，张汤自缢而死了！
在张汤死后，汉武帝觉得他是畏罪自杀，于是下令进行抄家，在张汤家里发现了500金，却是当初自己赏赐给他的。除此之外，张汤家里再也没有什么值钱的东西，最后还是其母亲叫人用牛车载着他尸体下葬的，只有棺木而没有外椁。汉武帝听说后，大为敬佩道："没有这样的母亲， 就不能生下这样的儿子"于是下令将三位丞相府长史处死了，丞相庄青翟也被迫自杀，并释放了张汤的好友田信，晋升了他的儿子张安世的官职。
东汉史学家班固评价张汤道：汤虽酷烈，及身蒙咎，其推贤扬善，固宜有后。
