此时的李义府，再也不愿意这样生活了，当年太宗的期望，变成了巨大的精神包袱。他打算全面倒向李治，更是倒向当时已经崛起的武昭仪，向长孙无忌宣战。李义府连夜向高宗进谏，希望废王皇后，改立武昭仪为后。
在当时，李治早就有废后之心，但因为长孙无忌的反对，一直未能如愿。李义府深夜上门的投名状，让他看到了希望。当即下令撤销了任职司马的文书。
从此，李义府成为了武皇后的心腹，不多久就被任命为宰相，可谓官运亨通。他就是以这种滑稽的方式，实现了当年太宗的期许。但是，李义府在当权时期，在皇帝、皇后面前阿谀谄媚，在外却做尽了欺男霸女的勾当。
据说李义府对于任何人，都是客客气气的，要捣鬼都是在幕后。一开始的人，都为他俊朗的外表所迷惑，根本不相信他有那么狠的心。当他的恶名逐渐传开后，人送他一个"笑里藏刀"的成语，附带还有 "人猫"的外号。
