然而，他们的关系却在不久之后宣告破裂。武则天的侄子武承嗣曾建议她建立"武氏七庙"，以此来追封武家的历代先祖为王。裴炎听说后，马上表达出相反的意见，他以吕雉的败亡举例，极力反对武则天为了一己私利，做出不利于国家的事情。裴炎的话让武则天很是不悦，她此时才看明白，原来裴炎效忠的始终是"李氏"，而不是自己。
684年，英国公徐敬业在扬州起兵，公然打出消灭武则天的旗号。裴炎趁机建议武则天还政于李氏，只有这样才可以避免天下大乱。武则天一怒之下，直接以谋反的罪名把裴炎关进了大牢。而后，朝中大臣胡元范等人问武则天证据何在，武则天拿出一张写有"青鹅"二字的裴炎亲笔书给他，并说：把字拆开看！原来，"青鹅"拆开之后就是"十二月，我自与"，显然是在响应徐敬业谋反之事。因此，裴炎会被武则天下令处死，丝毫"不冤"。
