据史书记载，当年为了修建这座巨型石碑，朱棣下旨召集全国数万名的工匠，齐聚阳山开凿石碑。为了尽快修建好石碑，朱棣下达了一道死命令，每个工匠一天要交三斗三升石屑，由监工负责验收。如果哪个工匠不能按时完成每天的工作量，就要被处死。繁重的工作强度，加上恶劣的工作环境，每天都有大批的工匠死去。根据记载累死、摔死或者因完不成任务被杀掉的工匠人数，达3000人之多。
由于工期紧，根本安排不出多余的人手来处理这些死尸，监工只得将这些尸体就近埋在了阳山碑材的山脚下，形成了一个 "万人坑"，天长日久这里白骨累累，形成了一个大坟包，于是人们把"万人坑"附近的一个小村就称为"坟头村"。
虽然死人无数，但石碑最终还是没有修建成功，在工程开始一年半后，朱棣突然下令停止了工程。关于为何突然停工，将石碑遗弃不用？说法有二：一说明朝国势渐衰，朱棣又迁都北京，故不用；一说因南京地理与气候所限，不适古代的滚木与冰运的方法，无法运输而不用。
所以这座半成品"天下第一碑"直到今天，依然位于阳山南坡，只是现在已经被开发成旅游景点，是全国重点文物保护单位。前来参观的游客络绎不绝，无不为石碑的巨大所折服，赞叹古代工匠的智慧。
