就这样，褚遂良成了第一位被贬的托孤重臣，这就是反攻的信号！说明了"托孤元老派"的失势，而武则天（代替李治）培养起来的那些新势力，占据了上风。最知名的便是李义府。由于他得罪过长孙无忌，故而成为了武则天势力中的最活跃的人物，为武则天（李治）最终扳倒"托孤元老派"，立下了头功。
随着长孙无忌的倒台，李治终于执掌了大权。所谓对手倒台后，也就意味着联盟的消失。李治和武则天也是这样。以至于李治都动了废除武则天的心思，跟宰相上官仪诉苦：武则天太霸道，天天欺负我。
上官仪就建议，那就废了武则天这个皇后。于是，李治就叫上官仪立刻写诏书，废皇后！恰好，两人的谈话被一宫女听到了，立刻告知了武则天。没多久武则天就赶来了，李治立刻就把责任全推给了上官仪。表示，都是上官仪教我的。
上官仪这下惨了，而李治这下也惨了，因为当他无法保护为自己说话的大臣时，哪位大臣还跟跟他站在一起？所以随着上官仪在公元665年的被害，李治也就等同于傀儡了。
