蜀汉章武元年(公元221年)，即关羽遇害两年后，刘备亲率成都蜀军，顺长江三峡而下，为关羽复仇，专程到大王冢拜祭关羽，并在玉泉山建关羽祠。
据历代续修的《当阳县志》载，关羽尸身被埋葬后，荆州民间即年年为关羽扫祭，所谓"邦人墓祭，岁以为常。"明代湖广按察使《义勇武安王墓记》称：关羽遇害后，"邑人祠而祀之，创而随废者，不知凡几。"这说明，在关羽葬身之地，民间不仅岁岁墓祭，而且崇奉有加，代代相传，从未断绝。
玉泉山所处的荆州地区自古便盛行民间立祠之风。汉书·地理志》载：楚人"信巫鬼，重淫祠。"《太平广记》所引《渚宫旧事》亦提到："江陵多神祠，人俗常所祈祷"。这就为关公信仰的传播提供了重要平台和便利条件。
有学者认为，荆州民间最初的祠关活动可能是"祀厉"，敬奉恶神厉鬼的称"祀厉"，敬奉善灵正神的叫"祀正"。民间普遍认为，关公一生刚直正义，光明磊落，忠贞不二，以复兴汉室以己任，如今壮志未酬身先死，且死于同盟者背叛之手，自然是满腔怨愤。人们生怕关羽怨灵泄愤人间，于是小心供奉，以期消灾避祸。随着时间的推移，关公当初怨怒而死的陈年往事，已经被关公壮怀激烈、忠肝义胆、义勇无匹的英雄气概所折服，被其散发出来的忠孝节义、信义卓著、品行高洁的人格魅力所吸引。于是，关公神灵成为惩恶扬善、趋吉避凶、保护一方的善神，奉祀活动由"祀历"而为"祀正"。
