在宫外，李治只是废掉了李忠的太子位置，将褚遂良贬为了潭州都督（湖南长沙）。至于长孙无忌、于志宁、韩瑗、来济等宰相则职位不变。相反，武则天还以韩瑗、来济勇于进谏为由，要给他们大量的赏赐。
都是千年的狐狸，他们当然知道李治这是温水煮青蛙，所以，长孙无忌、韩瑗、来济等人，几次三番要求告老还乡，但是李治一直没有同意。
一直到两年之后的657年，李绩、许敬宗、李义府等人逐步掌握了大权之后，李治才决定对他们下手。
首席狗腿子许敬宗在武则天的授意之下说：韩瑗、来济把褚遂良调为了桂州都督（今天桂林），而桂州那嘎达穷山恶水，特别适合谋反，所以他们就是准备谋反，应该把他们都杀了。
李治听说之后大怒，就把韩瑗贬为了振州刺史（今海南三亚）、来济贬为了台州刺史（今浙江台州），终身不得回朝。
