明朝时期，有一个叫做李隆的官员当人浙江都指挥使的时候，去岳飞墓前祭拜。见到岳飞墓之后，他不禁想起了害死岳飞的奸臣，因此回去之后就找人铸造了三个跪着的铜人，放到岳飞墓前面，分别是秦桧、秦桧的夫人王氏和万俟卨。
后来每次有人去祭拜岳飞的时候，就疯狂对着这三个人进行发泄，因此它们不到一百年就面目全非了。浙江按察副使范来去祭拜岳飞的时候，见到铜像实在是太不像话了，因此就找人重做铜人，又想起张俊也是主犯之一，就将张俊也顺便加上了，从此变成了四个。
到了清朝时期的时候，不知道什么时候，岳飞墓前面竟然又多了一个跪着的铜人，这个人就是罗汝辑，罗汝辑也与万俟卨一样，也是攀附秦桧的人，有人认为他也参与了诬陷岳飞，因此把他也加上去了。
到了雍正年间的时候，李卫担任浙江总督的时候，见铜像又变破了，就重新造了四个。虽然李卫读书不多，但是对于历史还是比较理解的，他认为罗汝辑不是主犯，就"赦免"了他，把他去掉了。从此之后，岳飞墓前面就一直固定成四个人。
