李晟曾经打败过吐蕃，自然是被吐蕃十分记恨的。因此吐蕃就挑拨李晟与朝廷的关系。而宰相张延赏本就和他不和，所以在这个时候自然也趁机落井下石，于是就在朝中诋毁他。后得皇帝召见，他竟被吓的就知道天天像个女人一样哭的双目红肿，最后害怕的竟将自己15个儿子全部派到长安为质，还要求削发为僧。这还不算，自己回到长安后马上和皇帝说要辞官，皇帝知道原由后只能是哈哈大笑，说我不会只听一面之词的。于是并没有同意让他辞官。
文武不和，对朝廷总是有害的，于是唐德宗就让李晟与宰相张延赏言和，在宰相韩滉等人的调解下，李晟与张延赏结为兄弟，后来李晟想要和张延赏结为亲家，但是张延赏不肯，这也让李晟感叹：自己武将性格直来直去，没有什么是一顿酒解决不了的，而文官就麻烦了，虽说表面没事了，但是他们却一直放在心里，不知道什么时候来记一下，这让我怎么能不惧怕文士呢？
