王忠嗣尽管也派兵协助了董延光，但表现并不积极，当然董延光就没有攻下城堡。结果嫉妒王忠嗣的李林甫以此为借口诬陷他，说他消极怠工，是想谋反。他利用王忠嗣跟太子李亨关系好这点理由，说他要伙同李亨谋反，于是唐玄宗大怒，召见王忠嗣入朝，命令三司详细审讯，要叛王忠嗣死刑。
后来幸亏王忠嗣部下哥舒翰拼死为他辩解，玄宗才免他一死。因为哥舒翰也是唐玄宗很喜欢的猛将，哥舒翰当时辞语非常恳切，甚至请求以自己的官职来替王忠嗣赎罪。唐玄宗不得已才放过了自己的养子，但还是罢免了他节度使的职务，贬为汉阳太守。不久王忠嗣就郁郁而终，也有说是暴死的，总之是英年早逝，才活了45岁。而此时48岁的安禄山正在磨刀霍霍，准备造反了。
安禄山是在王忠嗣死后才反的，但不一定就是他怕王忠嗣才不敢提前造反，而是时机不成熟。做为世界上最强大的国家，大唐的根基还是很强的，所以安禄山要进行长期的准备。
安禄山很早就开始准备叛乱了，比如他在范阳郡城北边筑起的雄武城，表面上看来是防御侵略的，实际上是为了储藏兵器、粮食，为以后起事做准备，他在这里储蓄养的战马就有15000匹，牛羊更是无数。他把张通儒、李庭坚等人罗致在自己的身边，让刘骆谷潜伏在长安当情报人员；还提拔了大批将才，比如安守忠、李归仁、蔡希德、崔乾祐、尹子奇、田承嗣等，都是当时的名将，当然还有英勇善战的史思明。
安禄山的部下不仅英勇善战，而且他对部下有绝对的指挥权。而王忠嗣则没有，他必须受命于皇帝。而玄宗皇帝晚年昏聩，不相信他，其实他多次提醒过皇帝，安禄山会反的，可是玄宗哪里听得进去？玄宗和儿子李亨即便对后来的郭子仪等人也多有猜忌。而且玄宗还动不动就听信宦官谗言，又是杀封常清，杀高仙芝的。所以即便王忠嗣活着，安禄山该反照反，只要时机成熟，他不会顾忌王忠嗣的。
