但是，狄仁杰在魏州所积攒的好感度，却在不久，是被他的儿子搞得是一无所有，甚至是连带的自己的生祠也被魏州百姓砸坏。
《新唐书·狄仁杰传》载："景晖，官魏州司功参军，贪暴为虐，民苦之，因共毁其父生祠，不复奉"，在不知道过了几年后，狄仁杰的儿子狄景晖，前往魏州担任司功参军，掌魏州官吏考课、假使、选举、祭祀、祯祥、道佛、学校、表疏、书启、医药、陈设之事。狄景晖不同于他的父亲狄仁杰，他没有狄仁杰的能力，也没有狄仁杰的清廉，他能进入官场，完全是得益于狄仁杰的荫蔽，因此是既无才，又无德。
狄景晖，为官期间，他不但对百姓没有任何的功绩，还经常祸害百姓，贪污索贿的事情是没少做，更是对境内的百姓横征暴敛，把魏州弄得是一塌糊涂。但是，自古民不与官斗，百姓即使是在痛恨狄景晖，他们也不能将他干嘛，毕竟人家不但自己是官，其家世更是显赫，朝中很多重臣都是他父亲狄仁杰的门生故吏。
如此，在不能对狄景晖干嘛的情况下，魏州百姓只能是将自己的不满与怒火发泄在狄仁杰的生祠上，正所谓"养不教，父之过"，他们恨狄仁杰教不好自己的儿子，让他来祸害他们，他们痛恨自己诚心供奉狄仁杰，却得不到他儿子狄景晖的半点感恩。因此，他们不再感谢狄仁杰，也不愿再供奉狄仁杰。对于他们来说，反正狄景晖一点都不知感恩，他们又何必那么诚心的去供奉狄仁杰呢？索性一通乱砸，将他毁了吧。
只能说，这是狄仁杰罪有应得的吧，他虽一生清正廉洁，但却教不好自己的儿子，良好的家世并没有给他的儿子带来良好的性格，一个残暴的贪官污吏，他是无论如何也得不到百姓的拥戴的。
