失去实权的张柬之再度感受到在朝中的无力。对朝堂失望后，他上书请求回襄州养病。《新唐书》记载：''柬之既失权，愿还裹州养疾，乃授裹州刺史。''虽然对中央无望，但张柬之还是张柬之。回到襄州任刺史的他为官刚正不阿，从来没有受财枉法、徇私舞弊。他还全力抗击洪灾，成为了全州百姓的救星。当时甚至出现了''阖境赖之''的局面。
神龙二年（706）七月，武三思暗中命人将韦皇后淫乱之事大肆宣扬，请求废黜皇后，并诬陷是张柬之等人所为。其后事情的发展，不难想象。《资治通鉴·唐纪二十四》记载：''上大怒，命御史大夫李承嘉穷核其事。承嘉奏言：''敬晖、桓彦范、张柬之、袁恕己、崔玄暐使人为之，虽云废后，实谋大逆，请族诛之。''听完御史大夫的汇报，中宗又派大理寺去结案。大理丞三原李朝隐奏称：''晖等未经推鞫，不可遽就诛夷。''大理丞裴谈奏称：''晖等宜据制书处斩籍没，不应更加推鞫。''
武三思想要把张柬之等人置于死地。但中宗因为曾经给敬晖等人赏赐过保命的铁券，所以免了张柬之一行人的死罪。死罪可免，但活罪难逃。张柬之等人都遭到了长期流放。他们家中十六岁以上的子弟，也受到牵连，流放他乡。被流放到泷州的张柬之，忧愁愤懑而死，享年八十二岁。
贤臣怀恨远去，后任皇帝相继为张柬之平反，并给予其极高的哀荣。景云元年（710），唐睿宗追赠张柬之为中书令，谥号文贞，制曰：''褒德纪功，事华典册；饰终追远，理光名教。故吏部尚书张柬之翼戴兴运，谟明帝道，经纶謇谔，风范犹存。往属回邪，构成衅咎，无辜放逐，沦没荒遐。言念勋贤，良深轸悼，宜加宠赠，式贲幽泉。可赠中书令，封汉阳郡公。''开元六年（718），唐玄宗下诏，同意张柬之配享中宗庙庭。唐德宗建中年间又追赠张柬之为司徒。
北宋龙图阁学士宋祁在编撰《新唐书》时评论到：''五王提卫兵诛嬖臣，中兴唐室，不淹辰，天下晏然，其谋深矣。至谓中宗为英王，不尽诛诸武，使天子藉以为威，何其浅耶？衅牙一启，为艳后，竖儿所乘，劫持戮辱，若放豚然，何哉？无亦神夺其明，厚韦氏毒，以兴先天之业乎？不然，安李之功，贤於汉平、勃远矣！''这段话可谓是对张柬之复唐之功的称颂、下场凄惨的原因分析与遗憾的准确表达了。
