有些早先离开洋枪队自谋生路的队员，听说队长白齐文在太平天国混的还不错，待遇甚至比清政府那边还要好，所以很多原来的队员纷纷找上门来继续投靠白齐文。这事传到李鸿章耳朵里，让李鸿章即震惊又担心，于是加紧了对还在在清政府这边其他洋枪队的控制。
再后来太平军和清军的战斗中，经过白齐文训练的军队依旧由太平军将军带领，而白齐文只能带着自己的一伙人参与战斗，这也充分表面了太平军对白齐文的不信任，恐怕他们造反。白齐文也很无奈，但是不能再去投靠清军啊！所以有难处也就忍了，毕竟能赚到钱才是洋枪队最重要的目的。
此时洋枪队人数也只有百十人，根本影响不了战局，在和清军的战斗中，太平军节节败退，白齐文也只好向太平军出谋划策，但是太平军将领根本不会听从，白齐文很无奈，得不到重用，此时洋枪队队员也都埋怨他当时为什么要和清军闹翻，还纷纷向白齐文提出退队，白齐文只和向谭绍光说明了一下情况，谭绍光心想这群残兵败将也成不了什么气候，也帮不上什么大忙，而且天天还要向他们付报酬，所以就同意他们离去，还给了他们很多路费，免得这群阴险的外国人出去说太平军的坏话。
白齐文落入清军手中 李鸿章把他溺死
