他的心腹王鉷因弟弟王焊谋反受到牵连，李林甫也牵连其中。虽然没有获罪，但唐玄宗的政治天平开始向杨国忠倾斜。十月，李林甫得病，十一月病重，不就便在华清宫辞世。
死后，他被杨国忠等人诬陷谋反，剥夺了所有官爵，家产被抄没，家人遭到流。还没下葬的李林甫以庶人之礼安葬，嘴里的夜明珠还被人拿了出来，他死后不久，安史之乱就爆发了……
其实，李林甫的最大缺点就是他的嫉贤妒能，见不得别人比自己好，一旦自己有了权力以后，比自己好的人都要消失。但是，在他担任宰相期间，却压制住了安禄山不谋反，也可以算是"功劳"一件了。
可以说，李林甫给唐朝的政治生态带来了严重的危害，后人曾评价："唐唯不诛李林甫，是以禄山之乱，唐室几倾；宋唯不诛秦桧，是以金人之横，宋业不振。"可见，在后人眼里，李林甫对朝政的干扰已于秦桧齐名。
