不过他的皇后郭氏却有不同看法，却不想由此跟吕夷简结上了仇：
"帝始与夷简谋，以张耆、夏竦皆太后所任用者也，悉罢之，退告郭皇后。后曰：'夷简独不附太后邪？但多机巧、善应变耳。'由是夷简亦罢为武胜军节度使、检校太傅、同中书门下平章事、判陈州。及宣制，夷简方押班，闻唱名，大骇，不知其故。而夷简素厚内侍副都知阎文应，因使为中诇，久之，乃知事由皇后也。"（《宋史·卷三百一十一·列传第七十》）
吕夷简的心胸不够开阔，还很记仇，但他毕竟是个能臣，所以很快得以复相，并终于等到了报复郭皇后的机会。
当时赵祯因为宠幸尚、杨两美人而与郭皇后产生了矛盾。有一次大老婆又跟俩小三干了起来，赵祯前来拉架，没想到大老婆在对可恶的小三使出龙抓手时误伤老公，在他的脖子上留下了几道血淋淋的记号--话说郭皇后的老公可不是普通的老公，人家的身体可是"龙体"，打不得也伤不得，这回被挠出几条大血道子，这还得了？
赵祯大怒，便想废后。其实这也没啥大惊小怪的，夫妻之间磕磕绊绊是常有的事，气极之下谁没有吼过几嗓子"离婚"的经历？不过吕夷简得知此事之后借机报复，大力撺掇赵祯废后，这下事情就大条了。
