但是张九龄不同意，他进谏说：您这样做是不合适的。尚书这个职位，必须由曾经做过宰相的人，或者德高望重的人才能担任，而这个牛仙客仅仅是个边关小吏，一下子提拔到这么高，明显是不符合规制的。
于是，唐玄宗就退了一步，想赏给牛仙客一个爵位，并且赐予他一些土地。
张九龄还是不同意，他说：爵位和土地都是用来奖励有功之臣的，牛仙客现在只是履行了他应尽的职责，不能算是什么立功。如果陛下您认为他办事勤劳，奖赏给他一些金银绸缎就好了，其他的就太过了。
听完张九龄的话，唐玄宗没有当场表态，只是沉默不语，但是很明显，他又不高兴了。李林甫看出了唐玄宗的不高兴，于是等张九龄退下以后，他便谏言说：陛下，我认为牛仙客是一个当宰相的材料，更何况一个区区的尚书呢？张九龄是个书呆子，不识大体。
于是，在唐玄宗心中，张九龄和李林甫便占据了两种截然不同的地位：李林甫事事处处支持自己，而张九龄却要强硬地反对自己，这一对比，唐玄宗对李林甫就更加满意了。
