退告郭后，郭后曰："夷简独不附太后耶？但多机智，善应变耳。"（司马光《涑水记闻》）
宋仁宗仔细一想，郭皇后说的有道理，第二天让宦官宣读罢免官员名单，听到夏竦的名字后，吕夷简如沐春风。等他听到自己的名字也在罢免名单之列时，吕夷简大惊不已。当天，吕夷简被罢免宰相，贬为武胜军节度使。
是日夷简押班，闻唱其名，大骇不知其故。（司马光《涑水记闻》）
吕夷简以老谋深算著称，他跌了个大跟头，心中百思不得其解，他在宫中有一位亲信，名叫阎文应，是宋仁宗身边的宦官。吕夷简为了弄清楚自己为何被贬，便想办法和阎文应联系上，阎文应告诉他，是郭皇后在背后搞的鬼。
