彭玉麟对官场腐败深恶痛绝,甚至不惜得罪李鸿章。李秋升是李鸿章的堂侄儿,仗着李鸿章的势力横行乡里、夺人妻女,彭玉麟掌握了证据,密令手下将其斩首。彭玉麟任职期间先后处死腐败无能官吏一千余人。彭玉麟的一个外甥曾任知府,由于贻误军机也被他杀了。他的所作所为在民间流传下一句佳话:"彭公一出,江湖萧然"。
李秋升被杀之后,彭玉麟还特意给李鸿章写了一封信"李秋升无恶不作,导致百姓怨声载道,丢尽了你李家的脸,你现在也不用担心,我已经帮你清理门户了,我们都同朝共事,多谢的话就不必了。"当李鸿章看完来信后,气的差点吐血。最后李鸿章经过左思右想,还是给彭玉麟回了一封信"多谢你帮我清理门户。"