但此后，裴炎和武则天的关系进入了破裂期。当时的武则天要为武氏立七庙，裴炎坚决反对，并说：且独不见吕氏事乎！最后武则天妥协，没有立七庙，但还是追尊父亲为王。此后，武则天为了达到不可告人的目的，想铲除韩王 李元嘉、鲁王李灵夔等李氏宗族势力，同为宰相的刘祎之、韦思谦选择了"沉默"，而裴炎依然直接反对。也正是因为这样，武则天对裴炎恨之入骨。
裴炎毕竟侍奉武则天多年，知道她是个心狠手辣、权力欲极强的女人，他不甘心坐以待毙，决定奋起反击。于是裴炎决定利用武则天出游龙门之际带兵把她抓起来，逼迫武则天把最高权力还给唐睿宗李旦。
《新唐书·裴炎传》有这样的记载：炎谋乘太后出游龙门，以兵执之，还政天子。会久雨，太后不出而止。
意思就是说，裴炎准备刺杀时，当天突降暴雨而迫使武则天取消了出游计划，使得裴寂精心策划的"刺杀计划"半途而废。
