道光三十年（1850年），湖南新宁爆发了李沅发起义，彭玉麟随衡州协标兵随往镇压。一场不过几百人的小暴乱，很快被平息，彭玉麟在此战中崭露头角，被授予蓝翎顶戴，却辞官不就，去湖南耒阳的一家当铺做了管账先生。恐怕此时，知识份子的那份傲气依然在他心里根深蒂固，对靠杀人来博取功名的武将行径显然不屑一顾。
咸丰四年（1854年），太平天国锋芒正盛，腐朽不堪的八旗兵节节败退，曾国藩正在衡州、湘潭组建水师，广求人才。先有曾国藩的弟弟曾国葆称赞彭玉麟，后又有常仪安推荐彭玉麟胆略超人，曾国藩遂发书召他速来。可是彭玉麟刚刚丧母，在家守制不出。曾国藩再次劝出，并说："乡里藉藉，父子且不相保，能长守丘墓乎？"这话说得很有水平，彭玉麟感其诚义，慨然应征，当即人军。43岁的曾国藩与38岁的彭玉麟这次相遇，开始了其共同对风雨飘摇的清朝力挽狂澜于既倒的非凡人生。
入湘军后，彭玉麟在与太平天国军队的作战中骁勇善战，智勇过人。湘军主帅曾国藩让他创立了湘军水师，购买洋炮，制造大船，训练将士。彭玉麟治军极严，湘军水师中，他的坐船是一条插着红旗的快艇，巡视各处，来去如风，营中三不准"斗殴、赌博、抽鸦片"，如有违者，轻则笞杖数十，重则人头落地，因此彭玉麟治下，军纪在湘军中堪称第一，远胜于以金钱醇酒美人为饵诱部卒死战的曾国荃所部。易宗夔在《新世说》中称其时的彭玉麟"貌清癯如闲云野鹤，出语声细微至不可辨。然每盛怒，则见之者不寒而栗"，歌颂其威严治军。
他眞不负曾国藩之厚望，率领湘军水师于湘潭之战击败太平军，后随军攻陷岳州，在武汉、田家镇连败太平军水师。后来他率领的湘军水师在江西湖口被石达开打败。于是他整顿水师，配合陆军大败太平军于樟树镇、临江等地。接着，他率领的湘军水师与杨载福的部队一起攻占湖口、九江、安庆，升任水师提督，兼兵部右侍郎。在攻占天京（今南京）的战役中，他亲率水师策应曾国荃的陆师沿长江东下，堵截天京护城河口。第二年他与杨载福等攻下江浦、九洑洲、浦口，断绝了天京粮道，成为攻陷天京的大功臣。在剿灭了太平天国后，他一心扑在清军的长江水师的建设中，为清军的这支水师呕心沥血，鞠躬尽瘁。后来倾注了彭玉麟无数心血的长江水师被李鸿章全盘接收，成为北洋水师最主要的力量，近代海军起步于斯。
