从公元1851年开始，任命地方官员进行"团练"来抵御太平军声音就开始陆续传出；1852年，回乡奔母丧的曾国藩被清政府下令负责跟湖南巡抚张亮基主持湖南地区的团练事宜，李鸿章也接到了在家乡负责团练的命令。
但由于功高易遭妒，在军事力量上大获成功的李鸿章却在交际上栽了个大跟头，在公元1857年的时候被安徽巡抚福济奏报要为父亲守制，结束了5年的团练活动，带着家眷辗转投奔至兄长李翰章处。后听闻恩师曾国藩的湘军操练地有模有样，便于1859年的时候赶至江西，成为了曾国藩的幕僚。
不过或许是年少成名，使得李鸿章年轻时非常骄傲，常常自视甚高；加入湘军后，他自认自己能力很强，逐渐开始不将曾国藩这位老师放在眼里。曾国藩的性格比较谨慎，而李鸿章与他相反，十分果断，每当曾国藩遇大事犹豫不决时，都是李鸿章在旁替其决断，因此李鸿章曾说："吾始以公为豪杰之士，不待人而兴者，今乃知其非也。"
