开元二十四年（736年），唐玄宗欲为朔方节度使牛仙客加实封，并让他兼领尚书。张九龄认为牛仙客学识不高，极力劝阻，引起玄宗不悦。李林甫私下言道："只要有才识，何必满腹经纶。天子用人，有何不可。"唐玄宗后以结党为由罢去张九龄、裴耀卿的宰相之职，任命李林甫、牛仙客为宰相。李林甫被授为中书令、集贤殿大学士、修国史。后来，监察御史周子谅奏称牛仙客非宰相之才，被玄宗杖杀。李林甫又趁机进言，称周子谅是张九龄所引荐。张九龄又贬荆州长史。
天宝元年（742年），唐玄宗更改官制官名。李林甫改为右相兼尚书左仆射，加光禄大夫，但却被免去兼任的节度使之职。天宝六年（747年），李林甫又加开府仪同三司，获赐实封三百户。唐玄宗对他非常宠信，宫中每有御膳珍馐、远方珍味，便命宦官到他府中赏赐，以致道路相望。当时，李林甫将性格柔弱的陈希烈引荐为宰相。他在家中处理政务，百官都集聚到府前等候召见。而陈希烈虽坐镇政事堂，却无人谒见，也从不敢参预意见，只是在公文上署名而已。
唐玄宗任命张九龄、裴耀卿、李林甫三人为宰相。就职之时，张九龄、裴耀卿都弯腰趋进，表现的非常谦逊。而李林甫则站在二人中间，态度极其傲慢，眉目间流露着得意的神情。时人都惊叹："这是一雕挟两兔啊。"后人便用"一雕双兔"比喻三人并列显位，一人势盛而两人受其挟制。
