李泌先后辅助了四个皇帝，树大招风，也受到了谗言迫害，李林甫、元载几个奸相，都知道要置李泌于死地不可能，就千方百计把他外放。所以李泌做过很多地方的父母官。每到一处，都有很好的政绩留下。最出名的是在杭州刺史任上，兴修水利，救济百姓，很多年以后，苏东坡也来到杭州做刺史，还专门写过诗，以缅怀前朝先任的功绩。
贞元五年三月，68岁的李泌在长安去世，唐德宗李适追封他为太子太傅。可月底的时候，有个叫林远的宫使在蓝关驿馆又见到了他，穿着粗麻布衣，骑着小毛驴向南去。询问之下，骑毛驴的人告诉林远，自己辅佐了四个皇帝，做了十年的宰相，现在功德圆满，得去衡山登仙去了。
