四月二十六日,张柬之升任中书令。五月,李显对张柬之等复辟功臣赏赐铁券,除非叛乱谋反,每人都赦免十次死刑。不久,武三思和韦后警告李显说:"张柬之等居功自傲,恐怕功高震主,威胁朝廷。"于是建议明升暗降,解除张柬之等五人的相权。五月十六日,李显下诏,封齐公敬晖为平阳王、谯公桓彦范为扶阳王、汉阳公张柬之为汉阳王南阳公袁恕己为南阳王、博陵公崔玄晡为博陵王,一律免除宰相等职,赏赐黄金绸缎,雕鞍御马,规定每月一日及十五日进宫朝见。自此,中央权柄,尽归武三思。张柬之已回天无力,上疏请求回襄州(今湖北襄樊)养病。李显于是任命他为不负实际责任的襄州刺史,又任命其子张漪为著作郎,随父上任,以便照料老父的生活起居。
襄州是张柬之的家乡二,亲朋故旧很多,但张柬之执法公允,从不偏袒、姑息。时汉水暴涨，外城被水，张柬之指挥主题抗洪，遏制洪流，襄城乃安。
神龙二年（706）三月,光禄卿王同痛恨武三思与韦后乱国,常与亲友谈论以世债被人告发,以"密谋暗杀武三思、罢黜韦皇后"的罪名被斩首。武三思借题发挥,指使中书舍人郑愔,检举张柬之、敬晖等五王跟王同皎暗中勾结,参与谋划。六月,李显下诏,将五王贬发边远,张柬之为新州(今广东新兴)司马,并剥夺功勋封爵。武三思仍不罢休,又秘密派人书写韦皇后奸淫丑闻,贴到洛阳天津桥上。李显气得暴跳如雷,下令御史大夫李承嘉调查此事。李承嘉奏称:"敬晖、桓彦范、张柬之、袁恕己、崔玄時派人张贴,表面上虽然只提罢黜皇后,实际上却是谋杀陛下,请屠灭五人全族。"李显因五人曾经赏赐铁券,不好自食其言,乃各判流刑,流放更为偏远之地。张柬之被流放泷州(今广东罗定),不久忧愤而死,时年82岁。
景云元年(710),韦后被诛,睿宗李旦登基,下诏为五王平反,追赠张柬之为中书令,溢号"文贞"。
