太平天国兴起后，满清政府手下的八旗兵、绿营兵和蒙古骑兵与太平军作战，节节败退，此时，地方团练兴起。本来团练主要是地方乡绅自行征集壮丁编制成团，然后进行军事训练，用以捍御盗匪、保卫乡土之用。
太平军进犯湖南后，湘人罗泽南从开始以在籍生员的身份率生徒倡办团练。在一开始的时候罗泽南初练乡勇，能招到的招募的都是没有任何军事经验的同乡。但是经过有序的训练，队伍的战斗力也不差，在南昌城下与太平军恶战。曾国藩听说之后非常高兴得说:''编练的湘军果然可用。''于是，罗泽南开始和曾国藩一起练湘军。《清史稿》载："曾国藩立湘军，则罗泽南实左右之。"湘军由此始。
1864年，湘军攻破太平天国的天京，对无辜平民展开屠杀与抢掠，平民死伤无数，两个月后，湘军被裁撤25000人。曾国藩奉命继续追击捻军，而后主办洋务，并且总督一省，最终病死。其实裁撤湘军2.5万人后，兵多将少，曾国藩一死，湘军一派群龙无首，除去左宗棠混的风生水起，其他人似乎一个不如一个（小佛说史原创，请勿转载）。
首先不少人在与太平天国作战中阵亡，例如：首创者罗泽南，在攻打武昌的一次攻城战中，犯了兵家大忌，对欲撤回城内的太平军穷追不舍，结果自己在武昌城下被弹片击中左额，不久因伤势过重，不治身亡；张运兰，在咸丰三年率五百人去武平，遇太平军，结果寡不敌众，总兵贺世桢、王明高，副将雷照雄皆都战死，他被抓住，一直骂太平军，就被太平军肢解了；刘腾鸿从一开始就跟随罗泽南，他在进攻瑞州北城中上阵督战时中炮身亡。
