唐高宗李治病重后，命太子李显监国，同时令裴炎与刘齐贤、郭正一在东宫帮太子处理政务。李治去世后，太子李显继位，裴炎受命辅政。能成为辅政大臣之一，可见李治对裴炎的重视。他也改任中书令，将政事堂从门下省迁往中书省。但裴炎很快便发现，李显并不是一位合格的皇帝。不仅政治能力缺乏，而且喜欢任人唯亲。皇后韦氏的父亲他要封侍中，乳母的儿子，他也要封五品官。
李治
裴炎不同意，李显就说："我就是把江山都送给韦玄贞都行，何况一个小小的侍中?"对于这样的败家皇帝，裴炎实在看不过去，便偷偷报告了武则天。武则天本来就是一个有野心的女人，恰巧儿子又不争气，所以命裴炎带人进宫宣读她的太后懿旨，将李显废为庐陵王。
