这位外国雇佣军最著名的领导人是沃尔特，他于1862年加入中国国籍，并授予华尔官职。结果，太平军遭受了清军和洋枪队的联合围剿，太平军实力受损。但在1862年9月，华尔在进攻慈溪时，他受了重伤，最终死亡。华尔死后，洋枪队需要有人来领导。当时，担任副队长的白齐文接管了常胜军，成为第二队长。
白齐文视财如命，他的情商不高。他对与清朝官员打交道知之甚少。在此期间，白齐文不仅抢劫了清军40000两银子，而且还带兵打伤了统领他们的清廷道台杨坊。这些事情引起了江苏巡抚李鸿章的不满，李鸿章立即罢黜了白齐文。
白齐文被免职后，他去美国寻求美国和英国特使的帮助，并要求复职。但遭到李鸿章的拒绝，白齐文愤怒地做出了更加离谱的举动。1863年8月，白齐文带领十几个人抢劫了俘获常胜军的"高桥"号船，并购买了大量武器。
