清朝诗人袁枚在《子不语》中记载："在吕城的五十里内都无一间关庙，相传该城为吕蒙所建，至今吕蒙为该地的土地。一旦有人建起关庙，每夜就必有兵戈角斗的声音，所以居民都互相劝诫，勿建关帝庙。曾有一卜者行至该城，借宿在土神庙中，夜间忽然雷电交加，屋瓦皆飞直至午夜。居民都不知何解，後来，各人都见到卜者所盖的，原来是一面画有关帝的布旗，所以土地驱逐卜者，不许在吕侯庙中借宿。"
这是袁枚在《子不语》里面的记载，不建关帝庙的主要原因，还得从建安五年说起。建安五年（200年），袁绍、曹操在官渡开战，沮授劝袁绍："颜良性子急不能单独任用，"但是袁绍以颜良进攻单独守护白马的刘延。
面对这个形式，曹操的谋士荀攸建议，假装在延津渡河，做出袭击袁军的姿态，在奔袭白马，攻其不备。曹操听从荀攸的建议，袁绍果然分兵向西，挺进延津。曹操便引兵向白马疾进，颜良大为震惊，仓促迎战。
