当初，敬晖和桓彦范等人诛杀张氏兄弟后，薛吉旭曾告诫敬晖："虽然，两兄弟已经铲除，但是，吕产和吕禄这样的大人物还在。这时应该趁着兵势去诛杀武三思，匡扶正室。"后来，敬晖曾多次向张柬之提到这件事，张柬之没同意，敬晖也没再坚持。
之后，武三思勾结韦皇后做出倒行逆施之事，武三思的羽翼依然丰厚，是天下的大祸乱。当时，就有人把责任推到了敬晖身上。中宗显然是个昏君，他听信了韦皇后的谗言，五人均被贬官。敬晖受制于武三思后，经常蹉跎感叹，甚至，手指都磕出血了。
可是，政治斗争就是这样残酷，没有后悔药。张柬之此时才说出了不乘胜追击武三思势力的原因。他认为："这应该是皇帝的事情。"皇帝还是英王的时候，就因他的勇敢、忠烈而闻名。留下武氏子弟，无非是希望皇帝能亲自惩奸除恶。
可如今，大势已去，说这些已经没用了。张柬之最终在新州抑郁而终，其他人不是病死，就是死于敌人的刀下，均没得善终。
