这些信号都让张廷玉感觉自己是到了想方设法全身而退的时候了。张廷玉明白，鄂尔泰虽然与自己过不去，但是唇亡齿寒。鄂尔泰一死，讷亲等年轻权贵不足以遏制自己，所谓树大招风，自己必然成为众矢之的，自己很容易会被皇帝重点"盯"住。所以，受到处分的张廷玉决定打辞呈告老还乡。
可惜乾隆皇帝并没有同意张廷玉的请求，理由是张廷玉受雍正皇帝厚恩，死后要配享太庙，这么高的荣誉怎能提前退休？言外之意，你张廷玉得为爱新觉罗家族干到死才行。这次请辞没能成功，只是谁也没想到，这成了张廷玉晚年厄运的开始。
张廷玉确实是大清王朝官场上的神话，这除了个人能力出众之外，他自己还有一些为官"诀窍"之道，其中一条就是：不图好虚名。就是自己无论做了什么都不争论功劳，功劳都是皇帝的，自己就是皇帝的助手而已。所以，翻阅大清王朝历史典籍很难发现有张廷玉做了什么事情，说了什么至关重要之话的记载。然而，晚年的张廷玉还是在名誉上栽了跟头。缘由还是在"死后配享太庙"。
"配享太庙"对于张廷玉这样的文臣来说，那简直就是天大的荣誉，为了保住这荣誉张廷玉干了一系列的蠢事。年老力衰的张廷玉一再请求退休，乾隆皇帝一想，这老爷子勤勤恳恳为我爱新觉罗家族奉献这么多年，同时也是自己的老师，恻隐之心就同意张廷玉的哀求，也想就此成就一段君臣和谐之佳话。
张廷玉接到退休消息先是高兴，开始收拾东西准备回安徽老家，但是接下来他就不安定了。他担心那些追随鄂尔泰之人在皇帝面前进献谗言，让自己"配享太庙"的事泡了汤，于是他竟然豁上自己的老脸去求皇帝写一份"保证书"，保证会让自己身后的名誉。这简直是荒唐至极之举，乾隆皇帝很不高兴，因为自己从来没说过要剥夺张廷玉的名誉？当然还是本着送佛到西，乾隆皇帝给他写了保证书。乾隆皇帝本以为第二天早上，张廷玉会亲自来叩谢皇上恩典，然后顺水推舟，成全了张廷玉，让他衣锦还乡。然而，张廷玉竟然让自己的儿子来代替自己谢恩。对于乾隆皇帝来说，这是对自己的藐视。乾隆皇帝愤怒的要求军机处拟定谕旨，让张廷玉"明白回奏"！
