当狄仁杰看到这个，他不会坐视不管，他立即通知当时负责政府的武则天，将此事交给他，接到诏书后，狄仁杰立即带领人们拆除色情寺庙，据统计，本次拆迁共拆除淫秽寺庙1700余座，当然，这也引起了人们对狄仁杰的不满，事实上狄所做的是造福人民的好事。
从唐初开始，就规定人们不得随意崇拜"毛神"，禁止设立卖淫庙宇，在《祀典》中，规定祖先可以享受世界崇拜的英雄、神、名人和官员。然而那些在《祀典》之外的人是不允许礼拜的，为了崇拜奸臣奸臣而自建的，属于封建迷信，对于这种叫卖淫寺的祠堂，必须拆除。
也许很多人更好奇，为什么统治者这么讨厌色情寺庙？原来，卖淫寺庙对统治者的统治构成了威胁，历史上发生过许多叛乱，其中不乏假神，我们知道太平天国，洪秀全是用神的名义误导人们，他们知道这是迷信却还是几百个姓氏相信他，再说了，很多民间的卖淫庙宇都是有目的的，很多都想让人出钱，到现在为止，我们还有人被骗吗？面对这样的祠堂朝廷，你能坐着看吗？当然，他是不可能，最后，邪庙崇拜恶人，那些大奸大恶人却在老百姓眼里成了神，这实在是不妥，因此拆除邪庙势在必行，这也是一件利民利民的好事。
