收点钱也就算了，日久天长，这哥儿俩开始排斥异己，尤其是武则天晚年，兄弟俩权倾朝野，因圈地一事嫉恨宰相魏元忠，便罗织罪名将魏元忠陷害，而后，李旦、李显两个武则天的儿子为巴结这哥儿俩，竟然奏请为他俩封王。晚年的武则天，整日沉迷于和哥儿俩的享乐，国家大事也多荒废，吐蕃进犯凉州，突厥侵扰朔州，武周朝皆反应迟钝。公元705年正月起，武则天干脆不见群臣，关门和哥儿俩玩乐，大权也不抓了，因此，她的丧钟也敲响了。
公元705年正月，宰相张柬之发动政变，联合右武卫大将军李多祚，于正月二十六日包围洛阳皇宫，同时迎立皇太子李显复位，逼武则天退位，两位小男宠也被张柬之杀死。内外压力之下，武则天被迫退位，10个月后，83岁的武则天以皇太后的身份溘然长逝，留下一座无字碑。
