李晟回到京城之后，唐德宗听说他将自己的儿子全部送庙里去了，感觉非常好笑。其实唐德宗找李晟并不是要因为官妓那件事怪罪他，而是别的事情。但是唐德宗笑归笑，还是挺同情李晟的，因此亲自出面调解，让李晟与张延赏握手言和。
不久之后，李晟为了表示自己的诚意，要与张延赏结为儿女亲家，但是张延赏不仅拒绝了，还将李晟侮辱了一番。因此李晟感叹说："武夫性子直，一顿酒之后什么仇都消了。但是文人就不一样，即使是表面和解了，心中依然怨恨。所以我最害怕的就是文人。"
归根结底，李晟害怕文人的根本原因就是，嘴比较笨，说不过文人，因此才会吃亏。而且又不能像武夫一样，两人发生矛盾之后，打一架就行。
