高傲的"将军"后来连女皇也不在乎了。他不再经常前往宫中奉侍女皇。他挑选有力气的白丁度为僧人，多达数千。侍御史周矩怀疑薛怀义有异图，在女皇面前进行弹劾。女皇对薛怀义的作为有些失望，但仍袒护他，不准周矩之奏。
薛怀义挥霍无度，用财如粪土。每次举行以布施为中心的佛教法会都是大肆铺张。公元695年正月的无遮会，薛怀义找人挖了一个五丈深的大坑，结彩为宫殿，将佛像从坑中提出，妄称从地下涌出。还杀牛取血，画大像，高200尺，说是薛怀义刺膝血而画。女皇对其所为，听之任之，一概不问。
这时，女皇又有了一个称心的男宠，此人是殿中省尚药局御医沈南璆。他因常为女皇看病而受宠爱。薛怀义得知，醋意大发，一天晚上，竟然在大堂放了一把火，因为风大，无法扑救，天亮时，大堂已被烧尽。女皇明明知道是薛怀义干的，但为了自己的面子，仍替他隐瞒。
纵火者薛怀义因未受到惩治而更加胆大妄为。女皇对他彻底失望了，才抛弃了他。
