吕夷简先后三次担任宰相，也三次被罢相。太后驾崩后，宋仁宗亲政，郭皇后早就不满吕夷简，屡次在仁宗面前挑拨他们的关系，于是吕夷简被短期罢黜了宰相职位随后不久又复职。第二次是因为他和宰相王曾之间闹矛盾，还吵到了皇帝跟前，于是被一起罢了相。最后一次是因病致仕。
公元1042年，已经64岁的吕夷简突患风眩病倒，而仁宗刚刚才扎稳根基，这一病倒皇帝身边就少了一个谋士，宋仁宗听古人说胡须可以治病，便把自己的胡子亲手剪了下来送与吕夷简。但是吕夷简因操劳国事也无心养病，加上年纪大了，身体每况愈下。据说，当他病情稍有好转，皇帝就让他每隔数日到中书一次，裁决军事。
就这样一年后，吕夷简病逝。宋仁宗哭诉道"安得忧国忘身如夷简者"忧劳国事，操劳过死的宰相不多，他是第一个，不顾个人安危当属吕夷简。
