很多人都想不通乾隆当时是怎么想的，因此众说纷纭，所以，这个关于拆塔建阁的传说也就有了很多版本，真伪至今也无从考量。
其中相对科学的一个说法是：乾隆是为了给自己母亲过生日，才准备建这个塔，但是，其实他是想通过这个塔把周围的三山五园都连起来，就好比阴阳八卦图里的两个点，首尾相连生生不息。
这个塔一开始在乾隆的构想里十分美好，不仅可以登高望远，还可以串联起当时园中所有的美景。但是，事与愿为，建到第八层的时候皇帝一看，和自己当时想的不一样啊，就不想再建下去了。
但是，地基都打好了，就这样荒废掉也很浪费，他就干脆把这里建成佛香阁了。这样不仅避免了和周围的塔重叠，从美观的角度上来看也会更好看一些。
