关于这支守陵人军队，历史上还有一个具有诡异色彩的传说。在楚汉相争的时候，项羽想要去攻占秦始皇陵，但是在未进陵墓前 ，突然眼前出现了三千多士兵。虽然这个数目对项羽的军队来说是小菜一碟，但是正当军队要进攻的时候，突然刮起狂风，卷起风沙。眼前骤然改变的天气在古人看来属于异象，就像是阴兵出行般瞬间眼前的守陵人数量神奇增多，让项羽感到害怕而不敢贸然进攻，只能放弃攻占秦始皇陵。
事实上，秦始皇的守陵人真的一直守护着没有间断吗？其实秦始皇陵刚建的时候，守陵人是存在的，但是随着秦灭亡之后，这些守陵人其实失去了守护的意义，尤其是后来的项羽攻打的故事极富神幻色彩，更加让守陵人存在的可信程度大大降低。再者，秦始皇陵墓并非没有遭到盗墓贼的进入，而是多次遭到盗挖，说明其实守陵人后来是不存在的。虽然野史上记载秦始皇陵守陵人守护至今，但是根据目前的情况来看，可信程度很低。
