白齐文视财如命，而且情商不高，不太懂得与清朝官员相处。在此期间，白齐文不仅抢劫了清军的军饷4万两白银，还带兵打伤了统领他们的清廷道台杨坊。这些事情引起了江苏巡抚李鸿章的不满，当时李鸿章随即将白齐文罢免了。
在白齐文被免职后，他前往美国寻求美、英公使帮助，请求复职。但是遭到了李鸿章的拒绝，白齐文一怒之下做出了一件更加离谱的事。1863年8月，白齐文带领十几个部下抢了获常胜军的"高桥号"轮船，并购置大量军火。
没多久，白齐文就跑到了苏州投奔太平天国慕王谭绍光。在苏州期间，谭绍光对白齐文很好，要权给权，要钱给钱。但此时权力与金钱已经不能满足白齐文了，他看清楚太平军的局势不太好，又想着投降洋枪队统领戈登。
请输入图片描述
