684年9月武则天临朝称制，此后不满武氏统治的徐敬业等朝臣、越王李贞等宗室纷纷起兵对抗，而作为唐高宗李治活着的嫡系子嗣中最年长的李显就成为了最好的旗号，"反对武则天、匡复庐陵王"的口号响彻天下。这样一来李显的苦日子就来了，武则天没杀他，但各种迫害、问责接踵而至，他身边的很多人也都被赐死。
每次有李唐忠臣为李显说话、鸣不平，武则天就会派使臣去问责李显，杀一批李显身边的人。李显对于自己两个哥哥李弘与李贤是怎么死的非常清楚，因此对于母亲的的责备非常惧怕，每日噩梦缠身，精神崩溃到要自杀。而李显的妻子、后来的韦皇后更惨，父亲韦玄贞，母亲崔氏，四个兄弟韦洵、韦浩、韦洞、韦泚全被迫害死了。
李显复辟登基后评价狄仁杰的话非常有代表性，"人臣事主，必在一心。天下岂有皇帝刚刚得病，就让太子监国的道理。这是狄仁杰在树立私惠，想趁机讨好我。"在李显看来狄仁杰、张柬之等人不是"忠臣"，为他说话是为了私利，有这种偏见在，再加上妻子、女儿的挑拨，张柬之等人就惨了。
