1862年9月，华尔在浙江慈溪与太平军的战斗中身受重伤去世，常胜军的指挥官改由美国人白齐文担任。和华尔一心一意效忠清朝不同的是，白齐文性格张扬跋扈，而且是个两面派。他在担任常胜军指挥后不久就纵兵抢劫了清军的四万两饷银，他也因此遭到了时任江苏巡抚李鸿章的弹劾，被朝廷撤去了指挥之职。
白齐文被解职后，常胜军改由英国皇家工兵少校戈登担任指挥。由于当时英国已放弃中立立场，明确表示支持清朝，所以戈登收到了伦敦发来的指令，要求他无条件接受清朝政府的指挥。因此在随后的军事行动中，戈登指挥下的常胜军作战英勇，并接连取得重大胜利。
1864年5月，清朝对太平天国的军事行动已胜利在望，戈登主动请求解散常胜军。早有此意的李鸿章很高兴地接受了戈登的请求。5月31日，常胜军在昆山解散，全体外籍军官辞去了在清军中的职务，常胜军中的部分精锐部队和大部分武器装备编入到了李鸿章的淮军中。
为了纪念常胜军在镇压太平天国中所发挥的巨大作用，李鸿章下令拨款1500两白银在上海建立了常胜军纪念碑（图4），上面镌刻有48名阵亡的外籍常胜军官兵姓名，常胜军的第一任指挥官华尔列居首位。
