不过淮军的实力远非上海守备清军可以比拟，在同太平军连接打了三次恶战之后，太平天国在上海的势头被成功遏制住了。这也促使中外各路人马对淮军刮目相看，开始渐渐重视起来这一支新兴的劲旅。
同曾国藩重视宗族纽带、左宗棠重视战术战法和行军规章不同，李鸿章更为看重军械战备的优势。在得到了上海乡绅集团的支持之后，李鸿章购入大量洋枪洋炮，对渐渐壮大起来的淮军进行武装改良，并重金聘请西洋教习依据西式军队制度进行训练，促使一直风格与当时其他中国军队迥异的新式军队出现了。
新式淮军在李鸿章的率领下和左宗棠的楚军一起，开展了剿灭北方捻军起义的行动。在平定了太平军和捻军之后，作为清朝实力最强的几支武装力量，李鸿章、左宗棠等均被朝廷委以重任。而李鸿章更是因此做了25年之久的直隶总督兼北洋通商大臣。
只是不同于楚军依托军制规章治理军队，淮军虽然武器精良，但纪律涣散，已经到了腐败深入骨髓的地步。1868年，左宗棠在进入甘陕一带准备平定教众祸患之时，特意上奏朝廷，明言"淮皖诸军皆新立功，其将领皆富贵矣"。意思是说淮军将士大多军纪涣散，将领们不择手段的聚敛财富，进而导致淮军将领几乎都是富贵之人。故而左宗棠宁愿自己重新在安徽、河南等地招募乡勇补充到楚军中去。
