李适之拜相后与李林甫争权，但因性格粗疏，常中李林甫的圈套。李林甫曾对李适之道："华山有金矿，开采可以富国，皇帝还不知道。"李适之便在一日上朝时，将华山金矿奏知唐玄宗，玄宗又询问李林甫。李林甫道："臣早就知道，但是华山是陛下本命山，乃王气所在，不宜开凿，臣便没有提及。"唐玄宗认为李适之虑事不周，恼怒的对他道："你以后奏事时，要先与李林甫商议，不要自行主张。"李适之从此逐渐被疏远。
李林甫最大的缺点就是嫉贤妒能，见不得别人比他好。啥都不能比他好。比他好就要遭殃。李隆基曾评价他任内的各位宰相，姚崇治国能臣，宋璟沽名卖直，李林甫妒贤嫉能，无人能比。有人问，既然你都知道，为啥还要让他当这么久的宰相？
玄宗默然不语。不语并非问的人对，而是玄宗虎落平阳，已没有了话语权。
