这一天，仁宗感觉身体好了一些，就想要与大臣们商议政事，命人传旨召大臣们速来宫中议政。大臣们接旨之后，全都是火急火燎往宫中赶，唯恐去晚了。只有吕夷简一人不慌不忙，来的最晚。
仁宗见吕夷简慢慢吞吞走了进来，就有些生气，责备他说："朕近来身体不适，今日稍有好转就急着召见你们，你身为宰相，应该起到带头作用，为何来的最晚？"
吕夷简从容地回答说："臣是故意迟到的。陛下近来龙体欠安，朝野上下皆知，都为你担忧。一旦忽然召见大臣，臣等匆忙入宫，外面的人不知道实情，就会胡乱揣测，以为陛下出了大事，引起人们的不安，甚至有居心叵测的人会趁机图谋不轨。"
仁宗听后龙颜大悦，夸奖吕夷简遇事考虑周全，并赏赐了他。
吕夷简晚年病重时，仁宗非常担忧，曾经剪下自己的胡子送给他，说："古人说胡须可以治病，朕现在剪下胡须赐给你，希望你早日康复。"
1044年，吕夷简病故，享年66岁，走完了颇具争议，又极为精彩的一生。当吕夷简去世的讣闻传入朝中时，虽然依旧有人为他的功过而争论，但仁宗却流着泪说道："安得忧国忘身如夷简者。"这是从皇帝的角度，给了吕夷简一个很高的评价。
