李鸿章看到机会难得，主动请缨，请求曾国藩派他到上海去。随后，李鸿章在曾国藩的派遣下，回到安徽老家招募了一支军队淮军，浩浩荡荡地开到上海。手里有了军队还不行，李鸿章还得有一份职务才行。1862年，在曾国藩的推荐下，李鸿章出任江苏巡抚（清朝时期，上海属于江苏管辖）。
巡抚是封疆大吏，为从二品，如果加兵部侍郎衔则为正二品。李鸿章所担任的江苏巡抚，相当于现在的江苏省长。
李鸿章率领淮军在江苏一带与太平军作战。由于李鸿章有财力雄厚的上海作为靠山，不差钱，买了一批新式武器，并雇请外国教练训练的新式军队，大大提高了淮军的战斗力，几场硬仗打下来，收复了不少实地。
1865年，僧格林沁亲王在攻打捻军时，落入捻军的包围圈，战死沙场。清廷任命两江总督曾国藩为钦差大臣，北上督师与捻军作战。与此同时，又命李鸿章署理两江总督一职。在清朝，"署理"的意思是官员出缺或离任后，由其它官员暂时代理职务。两江总督管辖总管江苏、安徽和江西三省的军民政务，相当于今天这3个省的省长，同时兼任卫戍区（警备区）的司令员。
