历史上，这四个人并不是一下子就跪上去的。
这要从岳飞之死说起，有几个时间需要注意。绍兴十一年十二月（1142年1月），岳飞以莫须有的罪名，在大理寺狱中被杀害。岳飞死后，狱卒隗顺冒着生命危险，将岳飞遗体背出杭州城，秘密埋葬钱塘门外。二十年后，也就是绍兴三十二年（1162年），宋孝宗上位，亲自为岳飞平反。此时，岳飞得以以一品的礼仪，改葬杭州西湖栖霞岭。十多年后，宋孝宗又追赠岳飞为"武穆"。此后，岳飞又获得"鄂王"，并改谥为"忠武"。岳飞在朝廷和民间的正面形象全面树立起来。人们为了纪念岳飞，将岳飞墓旁的"智果观音院"改建为"褒忠衍福禅寺"，岳飞成为人们祭拜的对象。
此时，人们只是建庙祭拜，岳飞墓前并没有秦桧等人跪像的存在。
