在1854年，湘军初次在衡阳市编练建成，刚开始只有1.7万余人。接下来的几年都是与太平军在湖北、江西的沿江地区作战。1861年9月，湘军攻陷安庆，第二年，曾国藩再率领湘军主力沿江进逼太平天国首都天京。1864年7月，湘军攻破天京，由此湘军声势浩大，一时之间，没有哪支军队能与其相提并论。
1864年，那时候恰好是太平天国运动局势好转之时，沙俄与清政府签订条约，侵占了中国西部领土44万多平方公里并且野心勃勃地想吞并整个新疆。于是，在19世纪70年代中后期，左宗棠带领他的楚军（在与太平军作战时，左宗棠亲自训练的湖南军队）开赴新疆，打败了入侵者，收回了伊犁，收复新疆之后，大批的湘军留在了新疆，故而时人说:"湖湘子弟满天山"。
