由于高度过于惊人，当初天堂在修建时曾经被风吹倒过一次，不得不重造。由此一来，工程消耗更为巨大，每天负责在全国各地采集木料的工人就超过1万人，加上薛怀义花钱如粪土，仅仅几年之中，花费数以万亿，国库甚至面临消耗殆尽的危机。
而且薛怀义也越来越不像样子，他挑选了1000多位身强力壮的男子出家为僧，安置在自己的白马寺中；平日里到处侵占田产，"所在公私田宅，多为僧有"；而且他惯于利用国库钱财收买人心，频繁举办无遮法会，在活动中公开散发钱财，每次耗资多达数十车，每次都有人因为争抢钱财被踩死。
这些反常举动，让当时的侍御史周矩疑虑重重，多次申请审查此人。武则天答应了他，并命令薛怀义前去御史官署报到。但当周矩召集手下正要审问时，薛怀义立即飞身上马、扬长而去。
最终，武则天以"此人病风"为由保住了薛怀义，不过其他剃度的那些僧人，则全被流放到边区。
