垂拱四年（688年），张光迅奏狄仁杰出言不逊被贬为复州（今湖北沔阳西南）刺史，入为洛州司马。天授二年（691年）九月，狄仁杰被任命为地官（户部）侍郎、同凤阁（中书省）鸾台（门下省）平章事（宰相），开始了他短暂的第一次宰相生涯。
万岁通天元年（696年）十月，契丹攻陷冀州（今河北临漳）。为了稳定局势，武则天起用狄仁杰为与冀州相邻的魏州（今河北大名一带）刺史。神功元年（697年）十月，狄仁杰被武则天召回朝中，官拜鸾台（门下省）侍郎、同凤阁鸾台平章事，加银青光禄大夫，兼纳言，恢复了宰相职务，成为辅佐女皇治理国家大政的左右手。
圣历元年（698年）秋，突厥南下骚扰河北。皇帝命太子为河北道元帅、狄仁杰为副元帅征讨突厥，迅速恢复了河北的安定。久视元年（700年），狄仁杰病故，朝野凄恸，女皇哭泣着说"朝堂空也"。赠文昌右丞，谥文惠。唐中宗继位，追赠司空。唐睿宗又封之为梁国公
