开元十四年(726年)，李林甫得到宇文融的引荐，被授为御史中丞，后历任刑部侍郎、吏部侍郎。 他生性阴柔，精于权谋，与宫中宦官、妃嫔交情深厚，对玄宗的举动了如指掌，每逢奏对都能符合玄宗的意旨，深得赏识。当时，武惠妃宠冠后宫。唐玄宗非常宠爱她的儿子寿王李瑁，对太子李瑛则有所疏远。
李林甫通过宦官干谒武惠妃，表示愿意尽力保护寿王。武惠妃非常感激，暗中对他进行帮助。开元二十四年，宰相张九龄因周子谅弹劾牛仙客失败，被流放。推举周子谅的张九龄也受到牵连，被罢了相。李林甫接替他成了宰相。在太子瑛被废后，李林甫多次上书欲立寿王李瑁为太子，但唐玄宗没有采纳他的意见，而立了忠王李玙。李玙即是日后的唐肃宗李亨。
李林甫在任期间，大权在握，闭塞言路，排除异己，嫉妒贤能，闹出了"野无遗贤"的笑话。他建议使用外族人为大将，使得安禄山等人控制了河北地区而座大，为日后的"安史之乱"埋下了祸根。
