第三个也是最重要的一点，遍布乡野的淫祠，甚至威胁到了朝廷统治秩序。乡野愚民们把淫祠中供奉的泥塑木雕神像作为精神偶像，趋之若鹜，无形中削弱了朝廷的影响力。每到淫祠"迎神赛社"祭祀大礼时期，百姓千百成群，鸣锣击鼓聚集一处，很容易被野心家煽动蛊惑，聚众作乱。历史上的农民起义，假托神明是一个最常用的套路。所以淫祠众多，已经影响到朝廷国家安全。一旦战火重开，倒霉的首先还是老百姓。
因此，狄仁杰拆毁淫祠，是一件造福于民的大好事。可悲的是，由于古代自然科学的落后，以及民间迷信风气的浓重，拆毁淫祠行动收效并不明显。前面拆后面建的现象比比皆是。安史之乱后，安禄山老巢范阳一带，甚至出现了供奉叛贼安禄山、史思明的二圣祠。
致力于拆毁淫祠、破除迷信的狄仁杰，他死后，他的祠庙也被百姓拆毁。魏州有一座狄仁杰祠堂，"魏之士女，每至月首皆诣祠奠醊"。《旧唐书》记载，恰巧他儿子狄景晖担任魏州参军，为人"颇贪暴，为人所恶，"引起老百姓公愤，"乃毁仁杰之祠"，老百姓把狄仁杰的祠庙给拆毁了。狄仁杰一心为民，因为儿子"坑爹"，死后却被老百姓拆了祠堂，历史有时就是这样令人无语。
