雕塑建成后却不断遭到破坏，随着时间的流逝，雕像已经破烂不堪，后来浙江安察副使范来看到眼前的一幕，便令人重新修造了四座雕塑，还多加了一个雕塑，这个人叫张俊。张俊，韩世忠，岳飞曾经合称为南宋三大将，这个组合能力十分强大，却逃不过人性特别贪婪，大量兼并农民土地。在岳飞案件中，张俊作了伪证，扭曲事实，捏造假象，在岳飞受冤案件中少不了张俊的"功劳"，张俊应该是令世人唾弃的存在。但是张俊死后却得到了"忠烈"的谥号，真是无比讽刺。
再后来范来被调走，浙江巡抚汝训来看到岳飞墓前这个景象，认为像张俊和秦桧妻子这种小角色不配跪在这里，便令下人把雕塑给搬出去了。又过了一些年，范来回来看到自己雕刻的铜像不见了，气不打一处来，无奈之后吩咐匠人再打刻四个出来。清朝时期，岳飞墓前又多了一个罗汝楫的雕像，岳飞墓周围更加热闹了，这个罗汝楫也是谋害岳飞的乱臣贼子之一。
雍正王朝，总督李卫撤掉了罗汝楫的雕像，又重新变回四个铜像，岳飞庙里也是这样的。后来就很少被破坏，随着时间流逝和社会的发展，百姓、游客都更加有素质，很少有人故意破坏铜像，一直到现在岳飞墓前都只有4个铜像。现在岳飞墓和岳飞庙游客越来越多，更多人去怀念祭奠岳飞，这也只能当做对岳飞当时受冤的补偿。
