眼看局势越来越不妙，咸丰皇帝赶紧派大学士赛尚阿为钦差大臣，率部前往广西平定太平天国运动。江忠源最初也随部出征。后来，江忠源看到清朝正规军打仗不堪一击，便回到家乡，募集了500人，组成"楚勇"，重新奔赴广西。
《清史稿》记载："湖南募勇出境剿贼，自江忠源始。"说的就是这件事。
那时候，太平军多次打败清军，势头正猛，根本就瞧不起江忠源这支几百人的"杂牌军"。但是，在江忠源的指挥下，"楚勇"接二连三击败了太平军。江忠源信心大振，于1852年再次回乡招募了1000人，与刘长佑一起星夜奔赴广西，三次打败太平军，解除了太平军对桂林的包围。
江忠源最威名显赫的一战，是在广西全州城东北10里的蓑衣渡与太平军名将冯云山激战两天连夜，击毙太平天国南王冯云山，使得洪秀全痛失左臂右膀。
