除了木料之外，修建陵墓地宫还需要大量的石料和青砖。石料全部来自特定的采石场，通过人力运到陵墓修建现场，然后再由工人在现场打磨成型。参与修建陵墓的工人大部分是全国各地征调来的徭役，为了赶工期，他们每天都从事着繁重的体力劳动，而且还面临着陵墓修建完成之后被灭口的危险，所以时间长了，修建陵墓的工人之间就达成了某种默契，开始偷懒拖延工程的进度。
有一年，万历皇帝前往十三陵拜祭祖先，在回程的时候突然心血来潮要到自己的陵墓看看。当万历走进陵墓的工地后，看见工人干活全部懒洋洋的，丝毫没有为皇帝修建陵墓的神圣感，万历皇帝心里非常不高兴，但也没有发作就回到了京城。
回到京城之后，万历立刻叫来了负责陵墓修建工程的定国公徐文壁、首辅申时行，责怪他们督促不严，两人向万历皇帝解释说：现在陵墓的修建时间比较充裕，工人偶尔的偷懒行为并不会影响进度。听了两人的解释，万历才放心下来。
第二年，万历借口祭拜祖先再次前往陵墓工地视察，没想到又看到工人们在偷懒。万历再也忍不住心中的怒火，打算将现场的数万工人全部处死，以儆效尤。随行大臣连忙劝说："不如皇帝叫来工匠询问一下，为何他们都在偷懒，到时候再杀不迟。"
