此后的五年间，李鸿章这个书生都忙于团练和对阵起义军。期间因为战敌有功，李鸿章还曾被"奉旨交军机处记名以道府用"，也就是被朝廷认可了他作为清军团练的身份和功绩。但他也遭人嫉妒，风评走向极端。咸丰七年（1857）李文安去世，李鸿章便结束了团练的工作为父亲守孝。
咸丰九年（1859），李鸿章前去投奔曾国藩。此时的曾国藩已经是朝中的肱骨重臣，两人身份的差距不可谓不大。但曾国藩还是很看重这个后辈，给了李鸿章不小的发挥空间，也毫不手软地教育着他。李鸿章曾爱睡懒觉，时常错过早饭。为了治他这个毛病，曾国藩曾规定早上李鸿章等幕僚，差一个人没到齐就不得开饭。所以李鸿章不得不怏怏地早起，不然府里众人一人一口口水都能淹死他。
而曾国藩几乎不遗余力的培养，让李鸿章成为了他手下比胡林翼、李续宜等人还要值得信赖的一员大将，负责着自己手下的机要事务。
咸丰十年（1860），李鸿章又奉曾国藩之命，在一众江南富绅的支持下开始组建淮军。此时的李鸿章，虽不是什么朝廷正式任命的官员，却掌握着实权。这种奇妙的地位，在我们如今的政治体制是不存在的。但这和古代割据一方的藩镇及往后的军阀，是极为相似的。
