武则天看到儿子后，便悲泣着说道："老身把你从房陵接回神都，原本就是打算要把天下托付给你，而张柬之、崔玄暐等五贼却贪求事功，不仅把我惊动到这里，还让你落下不孝的骂名！"唐中宗听后悲愤、痛苦不已，便跪在地上向母亲请罪。经此一事，唐中宗开始把张柬之等五位大功臣怀恨在心。
在这种情况下，武则天的侄儿武三思趁机大进谗言，并怂恿韦皇后在皇帝面前搬弄是非，由此导致张柬之等人的命运急转直下。仅仅5个月后，张柬之等人便被罢相，随即在第二年初被削夺王爵、流放，最终除张柬之、崔玄暐病死在流放途中外，敬晖、桓彦范、袁恕己均被武三思派人虐杀。
太后善自粉饰，虽子孙在侧，不觉衰老。及在上阳宫不复栉頮，形容嬴悴。上入见，大惊。太后泣曰："我自房陵迎汝来，固以天下授汝矣，而五贼贪功，惊我至此。"上悲泣不自胜，伏地拜谢死罪。由是三思等得入其谋。见《资治通鉴考异·卷十二》。
铲除张柬之等5人后，武三思与韦皇后继续抱团作恶，将朝政搞得乌烟瘴气。1年后（707年），武三思因屡屡欺辱太子李重俊，结果被后者灭门，但李重俊随即也兵败被杀。武三思、李重俊死后，韦皇后变得更加跋扈张扬，甚至还打算做女皇。唐中宗对此有所了解，便在暗地里设置障碍，并逐步削减她的权势。
