明朝末年，乾县当地发生瘟疫，在这场瘟疫中死去的百姓不计其数。传说，日落西山后，这些石像会变成妖怪，外出作乱，不仅践踏田地，还残害百姓和牲畜。于是，当地百姓认为，瘟疫的发生可能与乾陵中这些石像有关。于是当地百姓对石像憎恨至极，用锄头砸掉石像的头部，使其身首异处，他们坚信，只有这样做，石像才不会作乱。直到现在，这些石像的头仍没有被找到，这个谜也正等着后人来揭开。
还有一种说法认为是八国联军侵华的时候，八国联军看见乾陵前立有外国使臣的群像，感到侮辱了外国人的脸面，于是把石人的头砍掉了。上述几种原因毕竟只是传说，根据专家分析，在61尊番臣像一部分毁于那次大地震，其余的石像很可能毁于距今五六百年前的明末清初的屡次战争。
