太平天国运动爆发时，曾国藩创建了湘军，而李鸿章主动请命招募淮勇，1862年在安庆编成"淮军"。这两支军队成了清廷镇压太平军的重要力量，不过太平军势力很大，所以当时还有清廷的大臣出资招募了外国雇佣军，白齐文就是上海"洋枪队"的一个副领队。
这支"洋枪队"在发展过程中又招募了中国人为兵，并且改名为"常胜军"。白齐文跟着队长一起指挥士兵们进攻太平军，有胜有败，白齐文还在战争中负了伤。队长意外去世后，白齐文就成了"常胜军"的总指挥，配合李鸿章的淮军在江浙一带打了胜仗。
不过，白齐文打仗出头是为了获得丰厚的回报，他仗着自己是外国来的，打心眼里瞧不起清军和清朝的大臣们，李鸿章他也不放在眼里。有一次，白齐文居然把道员杨坊给打了个半死不活，还抢走了杨坊手里的4万两白银，李鸿章得知以后，十分生气。
李鸿章认为，此人虽然为朝廷立了些功，但他纯属为利而来，立了功便无法无天，看不起中国人，态度极其恶劣，行为与强盗无异。所以李鸿章早存了要白齐文好看的心，正好朝廷听说了白齐文犯下的事情后命李鸿章全权处理，李鸿章就把白齐文原来的岗位给撤掉了。
