在古代虽然迷信，可是祠堂却不是可以随便修建的，朝廷规定，只有祖先英烈，天地神明，历代历史人物才可以修建祠堂，并且还要上报朝廷，就跟我们今天建纪念堂差不多，而那些没有朝廷允许私自修建的祠堂都被称为"淫祠"，古时候老百姓文化程度普遍不高，极容易受到鼓动，所以这些没有朝廷管理的祠堂就很容易成为被巫婆神汉把持，成为他们榨取老百姓钱财的工具。更重要的是，假托神明一直是农民起义最常用的一个借口，这直接危害到朝廷的统治，所以狄仁杰才会如此紧张。
朝廷很快给了答复，狄仁杰就着手拆毁这些祠堂，可是由于百姓的观念，狄仁杰的行动并不顺利，往往前脚拆掉，后脚立马就集资兴建。据记载，狄仁杰前前后后一共拆毁了1700余座祠堂。狄仁杰拆拆毁1700座祠堂，为民除害，他死后老百姓却拆了他的祠堂。
狄仁杰此举是利国利民，可是由于自己的儿子不争气，作恶一方，最终，老百姓把狄仁杰的祠堂，也给拆了。
