其实，关于佛香阁的传闻可远远不止这一件，要真是这样咱们今天也就没有讨论它的必要了，关于重建佛香阁还有一个传说，流传也比较广泛，但是，却带有了一些神秘的色彩，不够科学。
当年，乾隆选中了这个地方准备修一个给自己避暑的园子。可是非常不巧，宝塔坐落的这个位置正是元朝一个娘娘的陵墓，这个娘娘生前可不是个厉害的主，相传也会一些易经八卦之类的堪舆之学。大家看到这里可能就已经明白了，这个地方其实就是瓮山，这做陵墓就是瓮娘娘墓。
所以，一些风水学先生就劝乾隆不要在这里动工，要是惊扰了下面的人给自己带来灾祸就不好了。
乾隆皇帝偏偏就不信这个邪，随即说道：怕什么，给我挖啰。之后，工人们不得已只好开挖，一旦开挖必然会动到陵墓里面的东西，工人们这时候已经挖到了陵墓的石门，打开以后发现里面有块石碑，此上面还刻着八个字："你不动我，我不动你。"
