有了安史之乱后，唐王朝开始变得保守，对胡人也不像之前那么信任，但是如果他不去进行解释的话，很容易引发回纥进攻唐王朝。
在这样的情况下，唐代宗特赐仆固怀恩免死铁券，于是仆固怀恩前去与登里可汗接洽，在仆固怀恩的解释下，"可汗大悦，遂请和，助讨朝义"。然而这种事情事后必然要遭受猜忌，以仆固怀恩与回纥的关系，就是说没关系，任谁都不会信啊！
公元763年，仆固怀恩护送登里可汗回漠北，当时宦官就向朝廷诬告仆固怀恩与回纥勾结。
仆固怀恩自知无法申明，不愿再回朝廷，当时唐代宗派遣裴遵庆慰问，仆固怀恩见到裴遵庆的时候痛哭流涕，裴遵庆动之以情，晓之以理，劝仆固怀恩回朝。
