继承爵位的吴长庆便长期活跃在庐江县和舒城县。1856年，吴长庆随官军攻陷庐江，次年9月打庐州，率团练击退太平军的援军，吴长庆因功提拔为守备，10月下舒城。1860年，吴长庆率团练击败陈玉成部，旋即被升为都司。一年后，湘军攻陷安庆，曾国藩听闻吴长庆练团练很有经验并且对抗太平军也是战绩不错，邀请吴长庆加入湘军，吴长庆欣然同意，曾国藩于是命令吴长庆设立湘军庆字营，随后派吴长庆前往上海协助李鸿章练淮军，于是庆字营成了淮军最早的几个营之一。
此后几年中，吴长庆一直活跃在抗击太平军的一线，攻西塘、战嘉善、夺嘉兴，屡立功勋，升至二品武官，赐"勇巴图鲁（勇士的意思）"称号。
1864年夏，曾国荃带兵攻陷天京后，吴长庆奉命驻扎江苏。一年后，曾国藩奉命剿灭捻军，当时湘军已经裁过人员，为了有人可用，曾国藩奏请淮军将领刘秉璋协同，吴长庆率军跟随。
从1865年到1868年，吴长庆多次带着庆字营辗转直隶、河南、山东等省份剿灭捻军，给捻军造成重创，捻军灭亡后，吴长庆被赏穿黄马褂、加提督衔（从一品武官）。
