这件事，其实是对薛怀义的再一次惊醒，不过他仍未醒悟，反而犯了一件更大的错。
此时的武则天又多了一位新男宠--御医沈南。怀义知道后醋意大发，有一天，在武则天正举行无遮法会期间，他连夜在天堂内纵火。
木制建筑一旦着火就不可收拾，并且由此蔓延到明堂；火光冲天，照得洛阳城中亮如白昼；直到天亮时，宏伟气派的天堂、明堂全部被烧毁，佛像也断成数百块碎片。
武则天对此心知肚明，但羞愧得难以启齿，只是对外声称，天堂里的小工因疏忽引发了火灾。其后，为了淡化此事，她并没有停止全城聚饮活动，甚至还故作镇定登上端门，像平时一样观看城里的热闹场景。
不久后，她命令重新建造明堂、天堂，甚至仍然任命怀义为主持建造的负责人。
