李晟与张延赏性格不合，因此关系非常不好。李晟性子比较直，经常直言进谏，只要是对国家有利的，哪怕是得罪了皇帝也在所不辞。但是张延赏就不一样了，他虽然也很有能力，但是性子比较圆滑。
李晟虽然带兵打仗厉害，但是经常不拘小节，因此难免犯点小错。张延赏对此非常看不顺眼，经常在唐德宗面前说他的坏话。吐蕃当时用了反间计之后，张延赏就趁机落井下石，跟着诋毁他。张延赏作为宰相，说的话是非常有分量的，因此李晟才害怕。
李晟还有一个毛病，那就是爱好美色，从他有有十五个儿子就能看出来，要是只有一两个老婆肯定生不了这么多。一次李晟看上了一名官妓，因此将她强行带回了家中，张延赏知道之后，派人强行让李晟归还。还将这件事报告给了唐德宗。
当时私自买卖官妓是重罪。再加上张延赏本来就不和，因此李晟非常害怕。就在他心惊胆战的时候，突然接到了唐德宗的召见。李晟一位是皇帝要治罪，因此赶紧连夜将自己的儿子们送到寺庙去出家，因为出家之后，即使皇帝治罪，他们也不会受到牵连。匆匆安排好自己的儿子之后，李晟才开始回京。
