后来薛怀义嚣张跋扈惯了，又加武则天有了新宠，对薛怀义日益冷落，结果争风吃醋的薛怀义，竟然一把火烧掉了武则天为他修建的明堂，这下可捅了马蜂窝。薛怀义从此彻底失宠，之后就消失在历史中，有说是被太平公主除掉了，有说被武三思杀掉，总之，不再受武则天宠爱了。
除了薛怀义之外，武则天早期宠爱的另一个男宠就是太医沈南缪，但这位沈太医为人胆小谨慎，性格宽厚，整日里只是小心翼翼地侍候武则天。因为武则天宠信他，气得薛怀义把明堂烧了，事后这位沈太医担惊受怕，没多久就去世了。
武则天早期宠信男宠，尚限于私生活方面，除了引起许多流言飞语外，并未对朝政造成太多影响，到了她晚年事情却发生了变化，因为两兄弟的出现——张昌宗、张易之。
这两兄弟是从公元697年开始得到武则天宠幸的，和之前男宠不同的是，这两人极有政治野心。比起薛怀义的飞扬跋扈，沈南缪的如履薄冰，这哥儿俩却如鱼得水。张昌宗擅长音律，张易之擅长歌舞，兄弟俩一唱一和，把武则天哄得整日心花怒放。从此他们俩开始干预朝政，最先是大收贿赂，卖官鬻爵，并且很有诚信，特点是收钱就办事。一次一个姓杨的向张易之行贿，张易之家人忘了这个人的姓名，张易之二话不说，把京城所有姓杨的都升了官，但朝政的腐败，却也因此加剧了。
