其次，乡村间的许多淫祠，往往被巫婆神棍所把持。这些人装神弄鬼，诱骗百姓，把淫祠当成自己聚敛钱财的工具，加重了贫苦百姓的经济负担，不利于农业生产。
狄仁杰在担任工部侍郎、江南巡抚的时候，发现吴楚之地的百姓兴建了大量的淫祠。楚王项羽、越王勾践、吴王夫差、周赧王、吴王阖闾之弟夫概、南越王赵佗、吴桓王孙策、春申君黄歇、伏波将军马援，等等不在武周朝的《祀典》里，供奉他祠庙居然有一千七百多处。意识到问题很严重的狄仁杰，于是上奏武则天，请求拆毁江南一带的淫祠。武则天同意了狄仁杰的奏折，并命狄仁杰全权处理此事。
当时以项羽庙最多闹的最不像话，因此狄仁杰的为废各地淫祠，就写了《檄告西楚霸王文》拿最多的项羽庙先开刀，最终留下大禹、吴太伯、季札、伍员四祠外，其他的一千七百多座祠庙全部捣毁，这也是整个大唐历史上规模最大的一次毁祠行动。但可以肯定，像这类法令的效果不会太管用。因为这些项羽庙固然可以焚毁，但毁了再盖也不是什么难事，待武则天还政于李唐，尤其是在开元（713-740）天宝（742-756）年间，庙宇再度兴盛，旧毁者又行重建。项羽庙也在复建之列，并一直延续到明、清。但与朝廷和佛道儒三教认可的关羽来比较，项羽庙的影响力就远远不及了，最吊诡的是，在项羽的故乡，却没有人把他作为神来祭祀！
