历史上有两个酷吏众多的时代，一个是西汉武帝时代，另一个是唐朝（武周）的武则天时代，但比较这两个时代的酷吏，会发现汉武帝时的酷吏很多是执法严苛、廉洁奉公、不惧豪强的能臣，武则天时代的酷吏则是一群罗织罪名、陷害忠良、滥杀无辜的卑鄙小人。
酷吏这个名称，来自于《史记·酷吏列传》。汉朝继承秦朝行政体制的同时，也吸取秦朝灭亡的教训，汉朝建立初年，朝廷废除严刑峻法，实行休养生息、轻徭薄赋的政策，任用官吏也要求宽和仁恕。这样做的结果是，在民力恢复，经济增长的同时，也滋生了骄奢淫逸、嚣张跋扈的权贵和豪强阶层，汉景帝时的"七国之乱"便是具体体现。对于朝廷来说，加强中央集权，强化法治刻不容缓，汉武帝是一方面实行"推恩令"削弱诸侯王国，另一方面任用酷吏，打击权贵豪强，强化依法治国。
汉武帝任用的酷吏，有名的有张汤、杜周、义纵、王温舒、减宣等。张汤从小熟读律法，后来担任廷尉（负责刑狱的最高长官），以用法严苛著称，在调查审判淮南王谋反案时，对所有参与者深挖严打，毫不姑息。在推行盐铁专卖时，大力打击囤货居奇的富商与豪强。张汤得罪权贵太多，最后被人诬陷，自杀身亡，死后家里仅有五百金，别无余财。其他酷吏也大多忠心耿耿，清正廉明，执法如山，在打击权贵、削弱豪强、强化治安等方面都是好手。但司马迁认为治理天下需要以德来教化民众，而非依靠酷吏的严刑峻法，因此在史记中，对这些酷吏多有贬低之词。
