大历十二年，李泌最后一次外放是宰相常衮搞的。元载犯罪伏诛后，代宗立即派人到衡山征召李泌入朝，李泌来到后，又赐给他金鱼袋及紫衣，又在宫中蓬菜殿旁为他修建书院。代宗经常穿着汗衫、拖着鞋过去问候他。关于朝廷人事任免等军政大事，代宗都和李泌商议。代宗想让李泌担任门下侍郎、同平章事，李泌坚持以山人推托。代宗并不死心，一心想让李泌还俗，用人间烟火来改造其志向。这期间，代宗命人为李泌埋葬双亲，又为李泌娶卢氏的女儿为妻，一切费用都由府库支付，还赏赐给他一所住宅。
如此的厚待引起了宰相常衮的忌妒，朝廷这二亩三分地怎能都让他一人享用呢！于是再三设法外放李泌，先是推荐出任楚州刺史，李泌推辞不去。后因澧州有职务空缺，常衮极力让李泌前往，理由是南方穷困，只有李泌前往才能治理好。代宗的好事被常衮以为了江山社稷的高调所击碎，只得授李泌为澧、郎、峡三州团练使，外放任杭州刺史。李泌虽被贬至地方供职，但在所到之处都立有良好的政绩，尤以在杭州任上的治绩著名。
代宗种下的树，德宗成了摘果人。德宗即位，召在基层努力工作的李泌入朝拜相，组织朝廷诸多大事的筹划和实施。对内勤修军政、调和将相，对外联结回纥、大食等国遏制吐蕃，达成"贞元之盟"，使边陲安定，保证了贞元时期唐帝国的稳定。这一系列成绩的取得，其实有一半应该记在代宗头上，因为代宗改造了李泌，还俗之人深知人间烟火的不易，工作因此脚踏实地抓铁有痕了。
李泌，这位历仕四朝的传奇人物，最终累官至中书侍郎、同平章事，封邺县侯，世称"李邺侯"。贞元五年，李泌病逝，享年六十八岁。获赠太子太傅。李泌一生博涉经史，精研易象。善做文章，尤工于诗。有《李泌集》二十卷，可惜的是已经散失。《全唐诗》录其诗四首。
