后来，在清朝的时候，在这4个铜人旁边又加了一个铜人--罗汝楫。罗汝楫在当时的岳飞案中也是参与了谋害的，所以，还是逃不过惩罚。不过，这些铜像到了雍正时期就已经破烂得不成样子了，据史料记载，在雍正时期，秦桧夫人王氏的铜像，连头都已经没有了，其余的铜像也一样，缺这少那的。当时，浙江总督又找人将这些铜像给重新铸造了一番，只是，这一次，他们将把原来的5个铜像只重铸了4个，将罗汝楫的铜像给排除了，这又是为何呢？
根据史料记载，公元1131至1162年，罗汝楫一直和秦桧站队，在给岳飞定罪的时候 ，他就是主要的人物之一。他们之所以没有将罗汝楫的铜像重铸，是因为罗汝楫不配跪在岳飞的墓前。当时岳飞是对罗汝楫很是仁厚，但是罗汝楫对岳飞所做的事情，实在是太令人不齿。在他们看来，罗汝楫是没那个资格的。
后来，在公元1747年，浙江的布政使唐模不仅将这4个铜像重铸，还让人在铜像的周围围上了木栏。不过，最终还是逃不开被捶打的结果。秦桧是奸臣，更像是"奸臣"的代名词，人们总是难以控制住对这种人的愤慨。后来，在铜像毁坏的时候，当地的官员都会找人重铸。
1966年，岳飞的墓地被损毁了，四具铜像也突然不知道 哪里去了，一直到1979年，当地的政府才将岳飞的坟墓重新修缮好，在那之后也将4具铜像重新铸造。虽说秦桧的后人表示，自己的 祖宗跪了那么久，也是时候站起来了， 只是，那些遗留在历史上的伤疤，著名可能用时间来衡量呢，有些事情，错了，便是错了。
