然而似乎任何事情总不会那么绝对，就连修建关帝庙的事情也有个例外。当时几乎全国各地都有关帝庙，唯独一个名不见经传的地方死活不准人修建关帝庙。这个地方就是吕城。这个小城位于徐州东面50里远，当地只有郭子仪庙与颜良庙。吕城方圆15里内不准修关帝庙，同时当地还不准人唱与关羽有关的戏。据当地人讲，清朝时，有个县官偏让人在颜良庙前唱关羽的戏，结果天空突然出现闪电就把演关羽的人劈死了，而颜良庙方圆15里内的居民还都受到了瘟疫的影响。
清大文豪袁枚也在他的《子不语》里提到相关事情：吕城只要有人想要尝试修建关帝庙的话，当地晚上就会出现古代打仗时兵器碰撞的声音。那么为什么吕城的居民就是那么不待见关羽呢，其中到底有何原因？其实原因很简单：因为徐州吕城的住户基本上全是三国名将颜良的后代。当年关羽斩了他们的老祖宗颜良，这些颜氏后人只会供奉自己的祖先颜良，根本不可能把杀害自己祖先的关羽当神明来对待。
据《三国志》记载，袁曹在白马大战，关羽斩杀了颜良。东汉末年，袁绍与曹操展开了著名的官渡之战，双方打得不可开交。当时袁绍势力庞大，兵精粮足，名将众多；而曹操势弱，粮食短缺；但曹操还是赢得了战争。白马之战是当时非常重要的一次战役。当时袁绍还派出了手下王牌大将颜良。颜良勇猛无比，曹军众将皆不能敌。关键时刻，关羽站了出来，一马当先而刺颜良于马下。
