庸碌还不算什么，官文还屡屡与湘军为敌。他在湖北，管的是绿营和八旗军，是要配合湘军共讨太平天国的。但是，官文不但不给湘军支援，反倒是处处为难，从中作梗。至于说粮饷军需，更不要指望湖北提供。
当时，左宗棠在湖南巡抚张基亮、骆秉章门下当幕僚。左宗棠那种幕僚，不是我们想象中出出主意的师爷，而是几乎可以决断湖南军政大事的，当时就有"天下不可一日无湖南，湖南不可一日无左宗棠"之语。但是，左宗棠得罪了永州镇总兵樊燮。樊燮就是官文的一个姨太太的弟弟，为了他，官文不惜构陷左宗棠，差点使其送命。
这样的人，湘军当然恨之入骨。前后几任湖北巡抚，都与官文的关系糟糕。直到胡林翼当上湖北巡抚，才让事情有了转机。
其实，胡林翼也是个暴脾气，本来是想在湖北与官文掰一掰手腕的。但是，曾国藩却告诉胡林翼，官文是满人，在湖广总督任上，政治意义远大于实际价值，清廷绝对会偏袒官文的。硬碰硬是会吃亏的。所以，胡林翼对官文极尽拉拢。
胡林翼不仅按时给官文送钱，而且还将湖北的一部分税务直接交给官文管理。为了结交，他甚至还认下官文的一个小妾为干妹妹。官文这才投桃报李，与胡林翼关系十分友善，甚至不问军政大事。这样一来一去，湘军减少了内耗和掣肘，还能得到湖广方面的补给，战斗力大幅提升。
