李林甫的儿子李岫担任将作监，见父亲权势熏天，担心盈满为患，忧虑不已。一次，李岫随父游园，看到一个役夫拉着一辆重车走过，趁机跪倒在地，哭着对父亲道："大人久居相位，树敌甚多，以致前途满是荆棘。一旦祸事临头，想跟他一样恐怕都不可能。"李林甫揪然不乐，叹道："形势依然如此，又有什么办法？"
李林甫担任宰相，对于才能功业在他之上而受到玄宗宠信、威胁到他相位的的官员，一定要想方设法除去，尤其忌恨以文才仕进的。他表面和善，言语动听，却在暗中阴谋陷害。世人都称他是"口有蜜，腹有剑"。
唐玄宗曾在勤政楼垂帘观看乐舞。兵部侍郎卢绚以为玄宗已经离去，便扬鞭策马从楼下缓缓而过。他风度翩翩，玄宗赞美不已。李林甫得知，担心卢绚被玄宗重用，便将卢绚的儿子召来，对他道："你父亲素有名望，岭南道的交州广州等地现在缺乏有能力的官员，陛下有意让你父亲前去。如果他不肯远赴岭南，肯定会被贬官。我给你出个主意，不如让他到东都洛阳去做太子宾客或太子詹事，这也是清贵显职。"卢绚果然不肯前往岭南，便按照李林甫的建议，主动到洛阳任职。李林甫担任违背众望，便任命他为华州刺史，不久又奏知玄宗，称其患病不能理事，将他贬为太子员外詹事。
唐玄宗曾问李林甫："严挺之现在在哪里，这个人还可以用。"严挺之之前被贬出朝廷，这时正在绛州担任刺史。李林甫担心他重新受到重用，便召见其弟严损之，道："陛下非常敬重你哥哥，何不让你哥哥上书，就说得了风疾，请求回京就医。这样他就可以回到朝中了。"严挺之不知是计，果然按他的建议上书玄宗。李林甫拿到他的奏疏后，对玄宗道："严挺之年事已高，近来又患风疾，应该给他一个闲散官职，让他安心养病。"玄宗嗟叹良久，将严挺之打发到洛阳担任太子詹事。
