因谏净，褚遂良等人被远贬蛮荒。武则天开始慢慢掌握权力。武则天最忌恨长孙无忌，但他不同于褚遂良等，不但是佐命元勋，更是高宗的元舅，要将之搞垮，需要时机。
长孙无忌的悲凉下场
显庆四年（659年），在武则天的授意下，由许敬宗费尽心机，把长孙无忌编织进一桩朋党案，进行恶毒陷害。
许敬宗借处理太子朋党案之机，诬奏长孙元忌构陷忠臣近戚，伺机谋反。唐高宗先是吃惊不信，继而伤心怀疑，命许敬宗再察，然后面对许敬宗足未出户编造的关于韦季方交待与长孙无忌谋反的供词，哭泣道："舅若果尔，朕决不忍杀之，天下将谓朕何，后世将谓朕何！"
许敬宗举汉文帝杀舅父薄昭，来宽慰高宗，又引"当断不断，反受其乱"的古训，催促其下决心。再加上武则天的枕边风。
