史书称李林甫临死前不久，因为对王鉷（祖父为名将王方翼，高宗被废王皇后的堂兄）的提拔问题，杨国忠和李林甫已经有不同意见。王鉷在天宝年间以户部郎中充任和市和籴使、户口色役使，升到京畿采访使，在长安和周边地区搜刮大量财物入内库供给皇帝、贵妃享用，他本身职务不算高，但非常受皇帝倚重。
连李林甫都想要笼络王鉷，号称一人身兼二十多个职务。据说王鉷的两个兄弟有不轨嫌疑，杨国忠对李林甫一直提拔王鉷不满，趁机落井下石。到李林甫死的天宝十一载（752），王鉷受兄弟之事牵连被赐死。杨国忠接替右相之后，也是玄宗时代最后的三年了。
这时候，当初对杨国忠有恩的鲜于仲通败绩南诏，高仙芝败绩西北，已经为大唐盛世没落猛敲警钟。次年关中发生饥荒，杨国忠哄骗年老昏聩的皇帝，光拿一些好的麦子稻子给皇帝看，示意灾情不严重。因杨国忠接替宰相讨好皇帝导致安禄山当宰相失败，加上杨国忠提拔哥舒翰压制安禄山，还不断指称安禄山有反意，两人矛盾就已经非常尖锐。
这中间唯一让人感到意外的是，原本杨国忠是追随李林甫打压太子李亨的中坚分子，可在安禄山问题上，两人却是态度一致，李亨也多次跳出来针对安禄山。
