过后薛怀义找武则天评理，武则天只是轻描淡写了一句："以后进出都走北门吧，南门是百官和宰相出入的地方，你何苦去招惹他们？"
薛怀义被泼了一盆冷水，但是，他还在负隅顽抗--建明堂，造佛经，征突厥，每一件事都在证明他不仅仅是一个"花瓶"，他想着有了功业，就可以上得了台面了。
可惜，薛怀义又犯了另一个大错，这就是触碰了武则天的底线。薛怀义失宠后，低落了很长时间，为了重拾女皇欢心，他特意在正圣元年（695年）正月十五这天，为女皇操办一场别出心裁的庆典活动，可惜武则天当天压根就没有现身。
心灰意冷的薛怀义，怒气冲天，竟然一把火烧了万象神宫。
实际上，薛怀义吃醋，武则天可能还会享受其中，说明自己的魅力不减当年，还有男人为他这样疯狂执着。但是，薛怀义错就错在，不能烧了武则天最珍视的东西。
结语
这件事过后，武则天假意让他重修明堂，没几天薛怀义就身首异处了。他的尸首被武则天丢到了白马寺将其焚毁，白马寺的所有僧徒全部流放边地。曾经红极一时的薛怀义，就这样尸骨无存，连一捧骨灰都没剩下，也是自食恶果。
