《旧唐书》记载，狄仁杰曾担任冬官侍郎、江南巡抚使期间，曾经在江南吴楚一带体察民情，深入民间时，发现了一个问题。吴楚之地，民间自发兴建了众多淫祠，愚夫愚妇奉若神明，奔走其间。狄仁杰把这件事上报了朝廷。当时武则天把持朝政，接到奏报后立即准奏。
狄仁杰接到诏书后，雷厉风行立即展开行动。他调集地方民夫和兵丁，由他带领地方官吏牵头，把江南吴楚一带的众多淫祠全部造册登记，逐一审查，除了保留下夏禹、吴太伯、季札、伍员四个人的祠庙，其他一概拆毁，《旧唐书》记载，最后他向朝廷汇报："毁淫祠一千七百余所"。狄仁杰进行的这次拆毁淫祠行动，在唐朝历史上是规模最大的一次，简直是空间绝后。
