当地的县令和百姓吓得魂不守舍，再也不敢提建关帝庙、唱关羽戏，更是在颜良庙方圆15里不许祭关羽。同时，据清朝诗人袁枚在《子不语》中记载，每次吕城启动修建关帝庙时，夜里必听到激烈的干戈角斗之声。当然，这些传说或许是"美丽的谎言"，因为可能当地人根本就不想建关帝庙。那么，这里到底有什么秘密呢？
原来据记载，当地全是东汉末年上将军颜良的后代，因此那里才会有颜良庙。据《三国志》记载，在官渡之战，袁绍派大将颜良进攻白马，曹操采纳荀攸之计，引兵先到延津，佯装渡河去袭击袁绍后方，准备乘袁绍分兵应战之机，再以轻装部队回袭白马。袁绍不知是计，果然派出大量的军队前往延津应战。随即，张辽、关羽突袭白马。颜良为"一夫之勇"，不善统兵，仓促应战。关羽于万军之中取颜良首级，颜良就这样被关羽刺死。
而徐州吕城当地都是颜良的后代，关羽杀死他们的祖先颜良，可以说吕城当地的百姓跟关羽是世仇，又怎么会去建关帝庙以及祭拜关羽。如果吕城的百姓真的去修建关帝庙，祭拜关羽，唱关羽戏，为关羽歌功颂德，那才是活见鬼了。
综上所述，我国唯一不能修关帝庙的地方--徐州吕城，之所以不能修建关帝庙，更不许祭拜关羽和唱关羽戏，并非完全是什么鬼神之说，而是关羽杀了当地百姓的祖先颜良，他们在感情上接受不了。当然，也不排除一些偶然的因素，只是被当地人有意地放大了，并以讹传讹。最终的结果是徐州吕城的百姓如愿没有修建关帝庙，也不用祭拜关羽，成为全国独一份。
