随着朝代的更迭，敬重岳飞的人们在自己的家乡都建筑了岳飞庙，而秦桧和他老婆的“认罪”铜像也成了“标配”。后来浙江的一名官员说，当年陷害岳飞的除了秦桧夫妻，还有万俟卨，他们三个人都是当年陷害岳飞致死的成员，于是给这个万俟卨也铸了一个低头认罪的铜像，跟秦桧夫妻俩一起天天给岳飞下跪认罪。这时，岳飞庙前的下跪铜像就有三个了。
过了大约80年，人们成年累月的祭拜岳飞，而庙前这三个下跪的铜像就长期被人们拿石头砸，拿臭鸡蛋扔，让他们遗臭万年。结果即便是铜像也经受不住这么多人的折磨，变得破烂不堪，认不出模样了。
这时的浙江一名官员范来看到这幅景象后又继续给这几个铜像重建，他想这些误国奸臣是应该遗臭万年的，怎么能这么快就被砸烂了呢，必须让他们继续接收惩罚。这次他还又拉进来一个新的角色一起下跪，这个人也是当年一起陷害岳飞的名叫张俊。这样一来岳飞庙前日日下跪的铜像已经有四座了。
就这样，这四位奸臣的铜像一直跪在岳飞庙前，直到明末清初时，他们又有了新的难友。清朝时候人们认为当年陷害岳飞的人中还有一个叫罗汝辑的也不能放过。于是给他也铸了一个铜像像前四个奸贼一样，天天一起跪在岳飞庙前。
到了清雍正年间，五座铜像又被痛恨奸臣的百姓们砸的破破烂烂，秦桧他老婆的头都被砍掉了。这次浙江的总督再次重塑铜像，不过他认为第五位铜人罗汝辑根本不够资格跟这几个大汉奸排在一起，因此直接将罗汝辑的破烂铜像扔了。后来岳飞庙前就长期下跪剩下的四个铜像。
而这四个奸臣因为当年陷害忠臣，现在死了也要被人世人唾骂。他们也成了人们对贪官污吏的愤恨进行宣泄的对象，谁让他们选择当奸臣呢，真是自作自受。
