唐高宗李治剧照
永徽四年（653年），发生了一件大事--房遗爱谋反案。房遗爱和妻子高阳公主阴谋发动政变，废黜高宗李治，拥立荆王李元景为帝。谋反还没有进行，事情就泄露了，长孙无忌亲审此案。在审案时，他并没有实事求是，而是趁机将他的政敌罗织进来。其中包括唐太宗庶长子吴王李恪、李恪的同母弟蜀王李愔，以及唐高祖李渊之侄江夏郡王李道宗等。最终，李恪与该案的涉案人员房遗爱、房遗爱之妻高阳公主、荆王李元景、驸马都尉柴令武、唐太宗第七女巴陵公主、武安郡公薛万彻等一道被处死。蜀王李愔被流放巴州，江夏郡王李道宗被流放到象州。李恪被冤杀前高呼"长孙无忌窃弄威权，构害良善，宗社有灵，当灭族不久！"，可见李恪心中对长孙无忌的怨恨。
一个房遗爱谋反案，这么多皇亲国戚被杀，要真犯了事被杀也是活该。但像吴王李恪这样没有谋反也被冤杀，可见当时长孙无忌的势力有多大。皇帝李治曾流着泪为亲人求情，"上泣谓侍臣曰：'荆王，朕之叔父，吴王，朕兄，欲其死，可乎？'"最终也被拒绝。
长孙无忌如此的弄权与专横，唐高宗李治心里会没想法？他想要拿回权力，怎样操作？从后宫入手，废掉有陇西贵族背景的皇后，借以打击长孙无忌一派。事实确实是在王皇后被废的过程中，长孙无忌一派的、褚遂良等先后被赶出朝廷中央，而长孙无忌看不起的许敬宗、李义府等人则开始被委以重任。这二人的升迁也让更多寒门子弟站到了皇帝和武则天这边，因为如果任由长孙无忌专权，这些寒门子弟永远没有出头的机会。
武则天与唐高宗李治剧照
正如李恪死前叫骂的那样，"宗社有灵，长孙无忌当灭族"。唐高宗显庆四年（659年），曾以谋反罪陷害李恪的长孙无忌也被许敬宗以同样的罪名陷害致死。而在长孙无忌之后，曾经不可一世的关陇贵族再也没出一位权臣。这一系列的政局变化，都是从唐高宗废后开始的。因此唐高宗"废王立武"说白了就是场朝廷的权力斗争，无关小公主之死。那么既然无关小公主之死，那武则天还有必要牺牲自己的女儿嫁祸给王皇后吗？显然没必要。
