后来，武承嗣又建议武则天诛杀韩王李元嘉、鲁王李灵夔，以绝宗室之望。武则天询问宰相的意见，刘祎之、韦思谦都一言不发，只有裴炎极力反对。武则天更不高兴。不久，裴炎进爵为河东县侯。他打算趁武则天出游龙门，以武力劫持，逼她还政给唐睿宗。但武则天却因连日大雨，取消了出游的计划。裴炎的谋划未能成功。
后来出现一个事件，当时英国公徐敬业以挽救李唐江山恢复庐陵王帝位为借口在扬州起兵，武则天称截取了一封裴炎给徐敬业的密信，信上写着"青鵝"二字，武则天将此信给百官看，百官不解，武则天用了拆字法让百官将字拆开来读，"青鵝"二字拆开后是六个字，青字拆开是"十二月"鵝字拆开是"我自与"。意思就是裴炎在十二月会在城中作为内应配合徐敬业谋反，裴炎因此被杀。
但是此事是在唐朝野史小说中记载的，正史中并没有此事的记载，所以不足为信，裴炎被杀更多的是因为反对武则天把持朝政，让武则天觉得裴炎是她称帝道路上的绊脚石，所以武则天才会想方设法的除掉裴炎。景云元年（710年），唐睿宗为裴炎平反，追赠他为太尉、益州大都督，赐谥号为忠。
