曾国藩死后，湘军逐渐缺少了灵魂人物，逐渐势弱。另外，在曾国藩指示下由李鸿章组建的"淮军"崛起，慢慢的已经盖过了湘军的势头。
后来， 湘军主要分成了两部分，一部分军队裁撤，还有一部分留驻各地成为防军，并逐步取代原有的八旗、绿营而成为清朝的常制军队。
曾国藩募兵的时候，最开始是以贫苦山区的年轻小伙子为主，但是有很多地痞流氓加入进来，逐步受哥老会影响。所以，湘军裁撤下来的兵丁，大多成为土匪，占山为王。但是，还有一些人成为抗击清军的重要力量。比如说，辛亥革命爆发的导火索四川保路运动，哥老会就是抗击清军的重要力量，对保路成功起到关键作用。又譬如民国时期，哥老会在川内迅速繁衍，大军阀刘文辉就是袍哥头目，邓锡侯、刘湘、杨森等军阀中，哥老会占绝大多数。
有统计称，川军总数中，参加袍哥的占60%。军队黑社会化造成军阀混战，四川连年动荡不安，从1921年至1933年，四川发生了大小战争479次，平均每年达20次以上。
