彭玉麟对官场腐败深恶痛绝，下决心不与腐败官员为伍。他任长江水师提督治理水师及兵部尚书的时候，秉公办事，疾恶如仇，严惩恶势力，甚至不惜得罪清廷高官大红人曾国藩和李鸿章。曾国荃是曾国藩亲弟，彭玉麟发现曾国荃的陆军部队纲纪废弛，还抓住了曾国荃手下的两名吸鸦片的战将。曾国藩是彭玉麟的恩师，对他可谓恩重如山，但是彭玉麟却不顾师生情谊，毅然提笔三次弹劾曾国荃，致使曾国藩大怒写信给他责问自己弟弟到底哪里得罪了他。
有一年，彭玉麟路过安庆，忽然有人拦马喊冤，状告当地恶霸李秋升。李秋升是李鸿章的堂侄儿，仗着权倾朝野的李鸿章的势力横行乡里、夺人妻女，当地老百姓敢怒不敢言。经调查，彭玉麟掌握了足够证据，把李秋升抓来审讯，李秋升竟然藐视彭玉麟不敢把他怎么样而供认不讳。彭玉麟断然下令："此人不除，安庆难安宁。"这时，安徽巡抚闻讯，风疾火急地赶来求情，彭玉麟开栅迎接，密令手下速将恶少斩首。巡抚还在字斟句酌，恶少业已命赴黄泉。事后，彭玉麟致书李鸿章，只是轻描淡写："令侄坏公家声，想亦公所憾也，吾已为公处置讫矣。"李鸿章阅毕对彭玉麟恨之入骨，却还只得回通道谢！
彭玉麟任职期间还先后弹劾处置了腐败无能官吏一百余人，其中不乏高官。此外，彭玉麟的一个外甥曾任知府，由于贻误军机也被他杀了。他的所作所为在当时的民间流传下一句佳话："彭公一出，江湖肃然。"安庆候补副将胡开泰召娼杀妻，彭玉麟怒而杀之；湖北总兵衔副将谭祖纶诱劫朋友发妻，还杀人灭口，州、县官员与他沆瀣一气，连总督都袒护他，但彭玉麟照样绳之以法而斩之。
彭玉麟以一介书生投身湘军水师，由于他智勇双全，在攻打田家镇、湖口等战役中屡立战功，便逐步擢升至水师统领，成为湘军水师统帅。先后被朝廷授为金华知府、广东按察使、安徽巡抚、太子少保、漕运总督、水师提督、兵部右侍郎、署两江总督兼南洋通商大臣、兵部尚书。他视富贵如浮云，一生中曾六辞高官。所以当时民谚有"彭玉麟拚命辞官，李鸿章拚命做官"。
光绪十六年（1890年）三月，彭玉麟以平民之身病逝于衡阳城内的退省庵，终年75岁。他死后被御赐为太子太保，建专祠纪念，赠谥号刚直。著有《彭刚直公奏稿》、《彭刚直公诗集》。曾任两广总督和湖广总督的张之洞评之为"加官不拜，久骑湖上之驴；奉诏即行，誓翦海中之鳄"，并为他写下一首五言长诗："神州贯长江，其南际涨海。江海幸息浪，砥柱今安在……"彭玉麟的同时代人，曾任翰林院编修的著名学者俞樾称其为"咸丰、同治以来诸勋臣中始终餍服人心，无贤不肖交口称之，而无毫发遗憾者"的唯一一人，评价之高，足见彭玉麟名声之重。时任湖北布政使的陈宝箴在悼念彭玉麟的挽联中写道："不要钱，不要官，不要命，是生平得力语，万古气节功名都从此。"
