但是，当时李治并没有展现出自己雄才伟略，李世民认为李治的性格懦弱不能担此大任，又将目光放在了李恪身上。李恪十分聪慧，非常得李世民喜欢，性格，办事方式与李世民都很相似。长孙无忌察觉到后，一直伺机而动想要除掉这个绊脚石。永徽四年（653年），房遗爱计划谋反但还没行动之前就被人举报，谋反之事便夭折在襁褓之中，这件案子李世民交给了长孙无忌去执行。没想到的是，长孙无忌却借此机会打击阵敌，排除异己，处决了荆王李元景，薛万彻以及他一直视为眼中钉的李恪。他这一举动为李治成为太子铺垫了基础。而对李恪来说，他心中满是怨恨，恨长孙无忌居然让他死在这样名义之下。
唐太宗去世后，李治成功登基，然而，他打下的一片江山几番辗转竟到了武则天的手上。可能是善有善报，恶有恶报吧，在武皇帝当政期间，她首要排挤的对象就是长孙家族。武则天将长孙无忌犯过的所有罪行都扒了出来并洗刷了李恪当时的不正罪名，并得到了追封以及应有的安葬。
