就这样，这四位奸臣的铜像一直跪在岳飞庙前，直到明末清初时，他们又有了新的难友。清朝时候人们认为当年陷害岳飞的人中还有一个叫罗汝辑的也不能放过。于是给他也铸了一个铜像像前四个奸贼一样，天天一起跪在岳飞庙前。
到了清雍正年间，五座铜像又被痛恨奸臣的百姓们砸的破破烂烂，秦桧他老婆的头都被砍掉了。这次浙江的总督再次重塑铜像，不过他认为第五位铜人罗汝辑根本不够资格跟这几个大汉奸排在一起，因此直接将罗汝辑的破烂铜像扔了。后来岳飞庙前就长期下跪剩下的四个铜像。
而这四个奸臣因为当年陷害忠臣，现在死了也要被人世人唾骂。他们也成了人们对贪官污吏的愤恨进行宣泄的对象，谁让他们选择当奸臣呢，真是自作自受。
