后来，捻军冲过曾国藩的贾鲁河防线，驰人山东。官文抓住把柄，放出暗箭。官文暗中煽动满洲贵族，说曾国藩集团占据大量地盘，非国家之福，连皇帝也下谕旨申斥。
同治五年九月，官文用重金收买御史朱学笃，上疏弹劾曾国藩。这时，又有法国人致书朝廷，说曾国藩兄弟同任封疆大吏，"东南已非国家有"，又是明显的离间之计。
陕甘总督杨载福、陕西巡抚刘蓉同时提出退休，暗示朝廷如果惩处曾国藩，他们将辞职不干。清廷见湘系大吏纷纷"救援"曾国藩，只好下旨斥责御史朱学笃，又安慰曾国藩一番。
京城内外斥曾国藩的风浪，已被官文掀起，太后和皇帝改变态度，对曾国藩系的地方大员开始大刀阔斧裁撤，一大批湘军官员纷纷被开缺回籍。陕甘总督杨载福，陕西巡抚刘蓉、广东巡抚郭嵩焘、湖北巡抚曾国荃、直隶总督刘长佑，相继被罢。
曾国藩感到情形不妙，打算申请回家养老。奏疏刚送出去两天，接到朝廷谕旨，令他交出饮差大臣的关防，转交李鸿章，叫他回家休假一个月，出任两江总督。
