咸丰皇帝起用了十几个在籍的官僚负责相关省份的团练事物，曾国藩被任命为帮办湖南团练大臣。曾国藩以在籍礼部侍郎身份夺情出山，赴省城长沙视事，专办湖南团练与剿匪事宜，可专折奏事。
曾国藩办团练先在长沙，又到衡州，曾国藩把东征为己任，指挥湘军连克湘潭、岳州、武昌；咸丰帝很高兴，授予曾国藩兵部侍郎。紧接着曾国藩收复田家镇、九江等地。曾国藩正式成为东征大军的主帅。后来，曾国藩被钦命为"两江总督"，督办江南军务，节制四省军务。
从咸丰五年（1855年）到咸丰十年（1860年）这六年的时间里，曾国藩率领的湘军败多胜少，曾国藩有好几次差点丧命。曾国藩并没有灰心丧气，从失败中吸取教训，越挫越勇。同治三年（1864年）湘军攻破天京，洪秀全之子、幼天王洪天贵福被俘。
