李泌隐居数年后，玄宗去世，肃宗随即也驾崩，新继位的皇帝便是李泌当年特别加以保护的广平王李豫（即唐代宗）。代宗刚即位，马上就召李泌回来，任命他为翰林学士，正准备进一步给予他官职时，当时的宰相元载却认为李泌不肯依附自己，留在朝廷对自己是一个潜在的威胁。
元载就利用唐代宗对自己的信任，以检校秘书少监、江南西道判官之职再次将李泌打发离开朝廷。但是对于军国大事，李泌仍然不远千里地向代宗提出建议，代宗也必定采用照办。皇太子李适（即后来的唐德宗）这期间也曾与李泌交往频繁。
因为李泌一生中崇尚出世无为的老庄之道，他对功名富贵看得非常淡泊，所以在肃、代两朝他数度坚决辞掉宰相之位，并且最终远离朝堂，常年隐居于深山中。
三。再度出山为相，为稳定朝政贡献终身
