但是朝中大权，可以说都在长孙无忌手里。他带领的关陇集团，一度成为了唐朝最强大的政治集团。而李恪作为曾经夺嫡的对象，肯定会受到长孙无忌的打压。
于是在房遗爱谋反的案子上，长孙无忌动了手脚。房遗爱是房玄龄的儿子，也是高阳公主的丈夫。这两个人合伙联合了柴绍的儿子柴令武、薛万彻，打算发动政变废掉唐高宗，改立荆王李元景为帝。
房遗爱谋反，坐子则与往还系狱。时吴王亦抵罪，高宗谓大臣曰："朕欲从公丐叔及兄死。"兵部侍郎崔敦礼曰："陛下虽申恩，不可诎天下法。"遂赐死。---《旧唐书》
这件事跟李恪一点关系都没有，可是长孙无忌却偏偏让被抓以后的房遗爱供出李恪参与了其中，并且表示，如果供出李恪，就能够饶他一命。
结果房遗爱的确这么做了，李恪也因此遭受牵连，无辜被杀，年仅34岁。长孙无忌自以为除掉了政治上的最大障碍，其实他的对手，正在一步步朝他走来。
