崔玄暐年轻时以学行著称，深受叔父秘书监崔行功器重。到了公元701年（长安元年），崔玄暐升任天官侍郎。可是这个人性情耿直，从不私下接受官员请托，因此受到权贵的忌恨，改任文昌左丞。而他后来能够官运不错，全托武则天的福，因为武则天比较喜欢特立独行的人，有一次，武则天对崔玄暐道："你调职之后，官吏纷纷设斋庆贺，这会放纵他们的贪欲。所以现在我让你官复原职。"于是重新任命崔玄暐为天官侍郎。
崔玄暐为官清廉，据说与他的母亲有很大关系，有一次，他的母亲卢氏曾告诫他道："我曾听姨兄辛玄驭道：'儿子做了官，有人来说再不会贫穷了，这的确是喜事；但他钱财充足，这又是让人担忧了。'我认为这是很正确的看法。近来看见亲戚中做官的，多用钱物奉养双亲，而双亲却不问钱物从何而来。如果是自己的俸禄，这是好事；如果不是，那么与盗贼有什么区别呢？你如今作官，如果不能忠正清廉，怎能立足于天地？"因此崔玄暐为官以清白著称。
在神龙政变初期，李显虽然表彰和重赏了崔玄暐，但不久他的宰相之位就被免去。唐中宗听信武三思谗言，贬崔玄暐为均州刺史。后来，武三思又诬陷崔玄暐等人与驸马王同皎同谋作乱。崔玄暐又被贬为白州司马，削去封爵。?七月，武三思暗中宣扬韦皇后淫乱后宫之事，并嫁祸给崔玄暐等人。唐中宗大怒，将崔玄暐流放古州。崔玄暐在流放途中病逝，时年六十九岁。
