《新唐书·张柬之传》记载：''张柬之，字孟将，襄州襄阳（今湖北省襄阳市）人。少涉经史，补太学生。祭酒令狐德棻异其才，而以王佐期之。中进士第，始调清源丞。''虽说张柬之早早就展露出自己的天赋，但他仍可谓是大器晚成。永昌元年（689），张柬之才从数千人中脱颖而出，当上监察御史和凤阁舍人。这一年，他已七十有余。
晚年的张柬之在仕途上仍然不是一帆风顺。他因为反对武延秀娶突厥女子为妻而触怒武则天，被贬为合、蜀二州刺史。此后他又上书武则天，不被采纳，不久迁任荆州长史。
幸运的是，张柬之得到了狄仁杰和姚崇的赏识。狄仁杰多次在武则天面前推荐张柬之，使之先后迁任洛州司马、司邢少卿、秋官侍郎。《新唐书》记载：''后姚崇为灵武军使，将行，后诏举外司可为相者，崇曰：''张柬之沉厚有谋，能断大事，其人老，惟亟用之。即日召见，拜同凤阁鸾台平章事，进凤阁侍郎。''不顺了几十年的张柬之，终得在姚崇的举荐下以八十高龄出任宰相。
武则天晚年宠幸张昌宗、张易之兄弟，荒废朝政，导致大权落入二张手中。为了推翻武则天，恢复正统李唐王朝，张柬之等人准备发动政变。神龙元年（705）正月二十二日，凤阁侍郎张柬之、鸾台侍郎崔玄暐、左羽林将军敬晖、右羽林将军桓彦范、司刑少卿袁恕己联合右羽林卫大将军李多祚、左羽林将军李兴宗等，发动政变，力图扳倒武则天，拥立李显为君。
