清政府被迫颁发奖励团练的命令，力图利用各地的地主武装来遏制太平军势力的发展；曾国藩是有能力的，这点清政府是知道的，而且曾国藩当初针对遏制和平定太平天国是提出过不少建议的，所以清政府干脆让他自己领兵去作战；于是，就有了湘军的出现。起初的湘军共计5000人，分为塔、罗、王、李等十营，大体是按照戚继光练兵的方式去安排的。
但曾国藩的本质终究是文人，而且当时的文人，和宋朝以前的文人已经不一样了，没有了"投笔从戎"的气概，更没有博览百家的知识量，能有的只是"一心只读圣贤书"；接下来的大战，很快就让这位意气奋发的读书人认清了现实。
公元1854年2月，湘军倾巢出动，以褚汝航为水军统领，塔齐布为陆军先锋，率大小船舰240艘，水陆大军17000人，挥师东下。3月，岳州战事不利。4月，在靖港水战中又被太平军石祥贞部击败，曾国藩愤而投水自尽，幸被幕僚章寿麟所救。吃了败仗，当然要上书请罪了，朝廷也是将曾国藩革职查办，但湘军不可无帅啊，所以在一番废话之后，又让曾国藩暂管湘军。
湘军也是很争气，在之后陆续攻下湘潭、岳州、城陵矶、武昌、汉阳等地，因功赏二品顶戴，署湖北巡抚，赏戴花翎。因曾国藩努力推辞，而赏兵部侍郎衔。在12月2日，曾国藩攻陷田家镇，杀敌数万，焚舟五千，进围九江；因功赏穿黄马褂。但就在曾国藩以为拨云见日，苦尽甘来，展望未来飞黄腾达之时，石达开给了曾国藩狠狠一击。
