不管他年轻时是否曾有过当宰相的抱负，对他来说，智斗李怀光已经是三十多年前的事了，他已经老了，对当宰相没兴趣了，只想死在节度使任上。他治理淮南已有七年，没准都治理出感情来了。
除此以外，他不想当宰相还有一个理由：他不希望别人说他这个宰相是被宦官推荐上去的！
既然打心底里不想做，积极性和动力自然也就无从谈起。这次回朝拜相之路，李鄘走得不情不愿、慢慢腾腾，捱了两个月才回到长安；而且这个宰相，他说不当就不当，一回京就称病不出躲在家里，不去面圣，谁来探病都不见，宰相该干的活当然也是一样也不干，唯一有动力坚持做下去的事就是打辞职报告。
三个月后，宪宗服输了，改任李鄘为户部尚书，改任李夷简为宰相。元和十四年（819年），李鄘改任检校左仆射，兼太子宾客，分司东都，也就是去洛阳上班，因为担任的其实都是闲职，所以基本就是在洛阳退休了。《旧唐书》说他是去洛阳担任东都留守，可能是误记，因为当时的东都留守已有老宰相郑絪担任。
不久，李鄘以太子少傅的官衔致仕，真的退休了。元和十五年（820年），宪宗驾崩，李鄘名义上的旧主太子李恒登基，是为穆宗。同年，李鄘去世，谥号肃，赠太子太保。
