于是李师道就和幕僚研究如何秘密刺杀武元衡。六月初三的清晨，和往常没有什么不同，只是天空更暗一些，长安城更寂静一些。宰相武元衡收拾妥当出门去上朝，上朝的队伍走到靖安坊东门时候，突然暗中传出一声"灭烛"，顷刻间侍卫们手中的灯笼就灭了，四周一片漆黑，导骑被箭射中落马。而武元衡也被从树下下来的刺客用棒槌打中了左腿。纷纷而至的刺客们已经把为数不多的侍卫都吓跑了。而其中一刺客牵着武元衡的马往东南走了十余步，然后把武元衡刺死，并将其头颅割走去邀功。
在武元衡被刺死的同时，他的副手裴度也被刺杀，只是裴度并没有死。之后，裴度继任宰相之职，并统兵平定淮西叛乱。算是为武元衡报了一仇。
