1856和1858年江南大营和江北大营两次被太平天国围歼，华东地区清朝主力绿营野战军溃灭。此后，曾国藩的湘军成了剿灭太平军主力。
为协助绿营和八旗兵剿灭太平军，1853年1月21日，曾国藩奉命帮同湖南巡抚张亮基督办湖南团练，后来称为湘军。
曾国藩1838年考中进士，为官10多年时间从未接触过军事。组建湘军，他用的是中国传统兵法，编制仿照明朝戚继光的营制，陆师以营为基本单位。每营编营官一、哨官四、勇丁五百人，另配长夫一百八十人，合计每营六百八十五人。水师每营编快蟹船一、长龙船十、舢板船十，共二十一只，员额为四百四十七人。
湘军将领主要是湖南人，大多是曾国藩的同乡，同学、门生和亲属。湘军的士兵由营官自招，上下层层隶属，全军只服从曾国藩一人。曾国藩治军重在思想纪律而不在技术性的训练，他用中国传统的儒家思想和同乡观念组建了湘军。
