就因为这句话，裴炎感到十分危险，这个皇帝太草率了，于是，他把这件事报告了武则天。武则天废了李显的帝位，改立李旦，裴炎很支持。没想到，武则天的野心不只是左右帝位继承那么简单，她还想自己做皇帝。
为了这个目的，必然要杀掉一大批李唐的子孙。裴炎忠诚于李唐皇室，对武则天的所作所为很不满，当武则天打算杀李唐王爷时，其他宰相都不说话，只有裴炎使劲反对。后来，裴炎想趁着武则天出游挟持她，逼她还政，却没找到时机实施计划。
公元684年，徐敬业起兵造反，反对武则天，武则天正好借此清除掉朝中的反对势力，于是裴炎被逮捕下狱，理由是和谋反的徐敬业暗通。原来，裴炎给徐敬业写了一封信，信上没有嘘寒问暖，只写了两个字："青鹅"。
当时百官纷纷为裴炎喊冤，认为裴炎绝对没有谋反之心。不料武则天怒斥说：你们把这两个字拆开来看看！百官仔细一研究，这才发现，青字拆开后是"十二月"，鹅字在古代写成鵝，拆开后就是"我、自、与"。
