曾经吕城也尝试过修建关帝庙，但是据说每当开始修建关帝庙时，一到夜里整个吕城都能听见干戈角斗的声音，宛如置身战场之上，久而久之便放弃了，修建关帝庙。并且还有另外一个传说，也使得关羽在当地“不受待见”。
据说在当地，颜良庙十五里范围之内是不能唱与关羽有关的戏曲的，曾经在清朝时有一个县令觉得这都是无稽之谈，或许是为了奉迎上峰的喜好，他偏让戏曲演员们在颜良的庙前唱一出与关羽有关的戏。没想到才开戏不久，老天就突然狂风大作，然后晴天霹雳降下一道闪电，劈死了台上的的一位演员，所有人慌作一团，这场戏，便草草收场了。但是事情并没有戏曲的落幕而结束，不久之后，当地又发生了瘟疫，死了很多人和牲畜。
也是自此之后，当地的人都不敢再提修建关帝庙、唱关羽戏等事情了。并且在颜良庙方圆十五里以内，也不许祭拜关羽。
以上的传说的发生有可能是被放大的偶然事件，也有可能是当地人不愿意修建关帝庙的托词。总之，吕城如今成为了全国为数不多不，祭拜、不崇尚关羽的城市，这也成为了当地的一种特殊文化。
