面对着法国的炮舰攻势，越南不得不屈辱的签订《顺化条约》，宣布承认越南是法国的保护国，全归法国管理。但越南在签订条约之后又向清朝请援，清朝受清流派的影响，国内群情激愤，做出向越南北部秘密派兵的决定。而法军也认识到，独占越南必须将越南的中国势力彻底消灭，首要的目标就是黑旗军。1883年12月，驻越法军在孤拔的带领下向黑旗军驻守的越北重镇山西进攻。
山西作为黑旗军的老根据地，黑旗军还是做了周密的防御。黑旗军依托城外的工事与法军进行了殊死较量。法军在进攻外围工事的作战中伤亡极大，甚至一度黑旗军包抄法军侧翼，但法军凭借着红河上炮舰的机关炮，瓦解了黑旗军这次攻势。
夜晚，唐景崧悬赏20万对法军进行夜袭，黑旗军在夜袭中打得法军措手不及，有20名非洲殖民地军人和5名法国士兵成了俘虏，只是随着黎明到来，黑旗军的攻势才宣告结束。在短短两天的交战中，法军付出了包括3名上尉在内阵亡85人，受伤240人的代价。虽然最后山西沦陷，但这场战斗的烈度在中法战争中都是极少见的。黑旗军最后的失败，很大程度上与清廷扯后腿有关。
根据双方的战报可知，法军进攻人数在5500人，而作为防守方的黑旗军只有2000人的老营。战前招募了1000新兵，唐景崧通过向清廷反复求援，总共获得了2000援军。清廷派兵引起了争端，只好命令进入山西的清军换成黑旗军服饰。所以，黑旗军在山西的防御兵力也只有50000人左右，在兵力上双方可谓是势均力敌。
但法军是经过近代化训练的近代化军队，在组织、在兵力、在指挥上均不是黑旗军能比拟的。更何况，法军还占据着水上优势，在红河上的炮舰随时能使用舰上的哈奇开司机关炮支援陆上作战，陆上法军还拥有4个山炮连。在单兵装备上，法军也是装备了先进的后装线膛步枪。本来山西之战，黑旗军可以获得更多援军，但在战前最令人无语的是清军将原先防守山西的四营桂军撤回北宁。而在战斗中，北宁上万清军按兵不动作壁上观。
