高阳公主和房遗爱对次非常不满，于是联络了当时和李治素来不和的薛万彻和柴令武等皇亲贵戚，准备发动政变推翻李治，想要拥立荆王李元景为帝。长孙无忌一直对吴王李恪有所忌惮，当初立太子的时候，李恪不仅有贤名又很能干，李世民打算立他为太子。但长孙无忌为了能保持在朝堂上的势力，推举了外甥李治为太子。
于是长孙无忌趁这个机会，让房遗爱诬陷李恪参与谋反。房遗爱为了能减轻自己的罪行，也这么做了。长孙无忌得到了他想要的证据后，便交给了李治。在得到李治的允许后，房遗爱等人也被处死。而高阳公主、荆王李元景等宗室也被赐死。同时他们的家眷也被流放。长孙无忌就这样除掉了他在朝堂上的对手。但让他想不到的是，后来武则天也用了相样的手法，在朝堂之上灭掉了他的家族。
