可惜的是李治色迷心窍，最终还是将武则天立为皇后，而褚遂良，便成了武则天的眼中钉，肉中刺，誓要除掉初四了，公元657年，当了两年皇后的武则天终于露出了自己的獠牙，联合狗腿子许敬宗、李义府，诬陷褚遂良谋反，褚遂良失势，被一贬再贬，甚至到被贬到如今的越南河附近，对武则天的疯狂报复，褚遂良是欲哭无泪，对此给唐高宗上书，说自己如何如何忠诚，可惜于事无补！
公元659年，褚遂良死于被贬地，但他和武则天的恩怨并未就此了结，武则天开始报复其子孙，不仅褚遂良的官位被夺，他的子孙也不断被流放，甚至很多人都流放到了他曾经流放过的地方，褚遂良家族彻底一蹶不振，如果褚遂良地下有知，不知会不会后悔出头反对武则天为后
