763年，安史之乱结束后，怀恩奉命送女婿登里可汗和女儿登里可敦回国，途经太原的时候，镇守太原的辛云京"闭关不报，不敢犒军"，这让怀恩非常生气，本来当初怀恩说服女婿帮助大唐对抗史朝义的时候，辛云京就是这个态度，当时怀恩并不怎么怪辛云京，但是现在回纥已经帮助大唐平定了叛乱，没想到辛云京还是这个态度，这让怀恩受不了。
更让他受不了的是，辛云京对宦官骆奉先说怀恩与回纥勾结意图谋反。骆奉先相信了辛云京，就向唐代宗报告了此事。而怀恩在送走了回纥兵之后，屯兵汾州，请求唐代宗诛杀辛云京和骆奉先。
唐代宗选择让他们和解，只是仇恨已经种下，又如何能和解？这一年的七月，唐代宗为了安抚怀恩，下令"赐铁券，以名藏太庙，画像于凌烟阁。''
一个月之后，怀恩还是觉得委屈，遂上书陈述自己的功过。唐代宗也害怕怀恩真的和回纥勾结反唐，就想推心置腹的对待怀恩，表示朝廷仍旧信任他。唐代宗派黄门侍郎裴遵庆去汾州慰问怀恩。当时怀恩见了裴遵庆激动得抱着他的脚大哭，裴遵庆传达了唐代宗的意思，并希望怀恩入朝。
怀恩本来答应入朝了，但是他的副将范志诚却劝说怀恩不可轻举妄动，因为朝廷已经开始猜忌怀恩，此去必是凶多吉少，于是怀恩不肯入朝，继续带着朔方军在汾阳驻守。不得已，唐代宗让郭子仪去收朔方旧部，朔方军纷纷归唐，这让怀恩惊惧不已，最终起兵反唐。
