祖陵的号已选好，但祖父尸骨葬在何处，朱元璋确一无所知（淮北大旱，饥荒蔓延，死无所葬）。朱元璋急于想知道祖陵的遗址，还出了一个笑话：地方官为了享受政策倾斜，拿到专项资金，诓骗朱元璋，说他家的祖，在南京朱家巷，朱元璋信以为真，筑土为"万岁山"，亲临拜祭，朱元璋刚磕下一个头，"万岁山"中间开裂，分为两半，明太祖非常恼火，认为这不是他家的祖坟，否则为什么受不起他一拜。于是"重罚言者"。
直到洪武十七年，朱贵献祖陵图，祖陵的遗址才真正准确知晓。朱元璋命太子朱标率能工巧匠，前往江苏杨家墩，开始了声势浩大的明祖陵营建工程。从洪武十八年始建，到永乐十一年规模完备，整整花了28年的时间，可见祖陵程浩大，仅城内外植的松柏，就有7万余株。
由于明祖陵地处淮河下游，且地势低洼，常遭洪水侵袭，在明朝统治年间，经常不断维修。到了清朝，水患严重，致使明祖陵被洪水淹没，沦入洪泽湖中，这座盛极明代的帝王祖陵，似乎已被人们遗忘。1963年春，由于气候干早，洪泽湖水位下降，使得被淹没达300余年的明祖陵重见天日，经过几十年的修复，现在明祖陵已成为旅游开放的一大景观。
