后来李治继位之后，为了缓解高阳公主和皇室之间的矛盾，到她府上去安慰她，解除了她不能随便出入皇宫的禁令。这让高阳公主认为李治软弱无能，为了能夺得爵位和家业，高阳公主像向李治诬告房遗直对她"非礼"。公主被人非礼，这可是有辱皇家颜面的事情。所以李治对件事非常的重视，并让长孙无忌审理此事。
长孙无忌和房玄龄一直是朝堂上的死对头。虽然房玄龄去世了，但他在朝堂上的仍然有很多的势力，所以长孙无忌想好好利用一下这个案子，打压房家。结果也让他很满意。早前在立太子的时候，房遗爱因为站错了队伍，后来李治继位后，就将他贬到房州做了刺史。
