不过有一种传奇的说法，说是这佛香阁原本是一位生前懂得一些风水的娘娘的陵墓在此处建着，可是不能建的，可是乾隆偏偏就不信这个邪，非要工匠们将此处给挖了，可是等挖到墓门的时候，只见这墓门上写着，你不动我我不动你这样一句话，下人们迅速将石碑上的字读给乾隆听。
听完之后乾隆脸色煞白，他虽然是皇帝，尊贵无比，但乾隆这个人却非常迷信，极其重视风水和鬼神。因此知道石碑的事情后乾隆立刻下令停止挖掘，并在上面修建了佛香阁，为墓葬守墓，以表达自己的诚意。而墓葬下的人的身份想必大家都想到了，她就是忽必烈的瓮娘娘。
这也果真应了瓮娘娘："日后定有天子给我看坟"那句话。而这个佛香阁后来还有故事，1980年，佛香阁作为一个景点对外开放，可是名字叫做佛香阁可是没有佛像，为了解决这个事就打算找个佛像，找的人考虑到种种原因就在附近学校仓库里找了个佛像放了上去，结果被发现佛像头上少了一块，就去仓库找可以代替的东西，结果发现了一个头盖，没想到和佛像缺的那块正好相符，可见是有缘故的。
