1851年，洪秀全在广西桂平金田村组织起事。咸丰帝诏群臣言得失，曾国藩进言"今日急务，首在用人"，推荐李棠阶、吴廷栋、王庆云、严正基、江忠源五人，再上书《敬陈圣德三端预防流弊疏》直指咸丰帝的过失，咸丰帝"怒掷其折于地"，数日后复阅，才心服而纳谏，并对其加以褒答。
两年之后，在太平天国势不可挡，太平天国运动已席卷半个中国之际，曾国藩获准在衡州练兵，"凡枪炮刀锚之模式，帆樯桨橹之位置，无不躬自演试，殚竭思力"，并派人赴广东购买西洋火炮，筹建水师。
组建湘军之后的曾国藩，为了防止溃兵滑勇把种种恶习带入湘军，曾国藩强调募集边僻地区的山民。他还让带兵官自行回乡募兵，以一地之兵集中于一营，用乡谊故交维系部队内部的情感，以求在作战中互助互力。
