永徽四年（653年），褚遂良升为尚书右仆射，执掌朝廷大权。对此，在不少历史学者看来，这是他仕途生涯中的顶峰。不过，褚遂良很快就遭遇了重大挫折。
永徽六年（655年），在是否立武昭仪为皇后的斗争中，褚遂良与长孙无忌强烈反对任何废黜王皇后的企图。更为关键的是，相对于长孙无忌等人，褚遂良的态度实在太过激烈，这不仅让武则天心怀不满，也让唐高宗李治为恼火。
并且，相对于褚遂良，善于迎合旨意的李勣却说了一句话："此乃陛下家事，不合问外人。"这一来既改变了唐王朝的命运，也将褚遂良等人推入了悲剧的深渊。
三
唐永徽六年（655年）十月，武则天还是被册封为皇后，褚遂良也被武皇后赶出朝廷，到潭州任都督。唐显庆二年（657年）春天，褚遂良调到离京师极远的桂州（今广西桂林）去任都督。同年晚些时候，武则天则是准备给褚遂良扣上一顶谋反的帽子。
因此，褚遂良又一次被贬--这一次是被贬到更远的爱州（今越南清化）。显庆三年（658年），禇遂良在爱州带着遗憾离世，享年六十三岁。另据唐人张怀瓘《书断》记载，褚遂良卒于显庆四年（659年），享年六十四岁。、
值得注意的是，褚遂良凄凉病逝后，武则天还没有消气。一方面把他的官爵削掉，另一方面把他的子孙后代也流放到爱州。直到武则天退位后，褚遂良才被唐朝追赠谥号"文忠"，于天宝六载（747年）配享高宗庙庭。
