因为郭子仪履立军功，所以为人所嫉妒，宦官鱼朝恩便一直向唐肃宗说他的坏话。相州之败后，鱼朝恩便把责任都推到了郭子仪身上。唐肃宗听信谗言，夺了郭子仪的兵权。后来李光弼、仆固怀恩等将兵败邙山，史思明再次攻陷洛阳，郭子仪才重新被启用。
唐代宗继位后，宦官程元振仗着拥立之功，在朝堂为非作歹。但他又怕老将收拾他，所以便在唐代宗面前挑拨离间，诬陷郭子仪。郭子仪被罢免了副元帅之职，成了肃宗山陵使，负责督建皇陵。郭子仪为了表忠心，将肃宗赐他的一千余件诏书都呈给代宗看。代宗看后才惭愧地说："让重臣忧虑，我很惭愧，以后你就不用担心了!"
而在不久之后，唐代宗便赐给郭子仪6个绝色美女。但当时郭子仪已经70多岁，岂是享用美女的年纪?为此，他的儿子们都劝谏他注意身体。没想到，郭子仪却照单全收了。儿子们感到很不解，郭子仪说："水至清则无鱼，我替唐朝恢复了江山社稷，平时又德高望重，如果任何一点污点都没有，那皇帝就又该对我起疑心了。所以，这美人，我必须得要。"
除此之外，郭子仪的王府还大门洞开，任由寻常百姓出入。这样一来，即使别人想诬陷他，也找不到证据。而在四年后，唐代宗去世，唐德宗继位，郭子仪依旧在朝堂屹立不倒。直到此时，家人才明白郭子仪有多高明。
