此时，袁术旧部、军阀刘勋占据庐江郡，并驱使骠勇精悍的庐江兵四处攻略，由是横行于江淮之间，让立根未稳的孙策很是忧心。建安四年（199年），孙策诱使刘勋率主力进攻上缭，然后趁机夺取庐江，刘勋进不能攻克上缭，退不能返回庐江，最终兵败逃奔曹操。从此，庐江便成了孙策的地盘。
孙策命陈武指挥精锐部队，每战必克
孙策占据庐江后，大量招募当地健儿为兵，并把其中最为精悍者编入特种部队，交由陈武来统率，每次出战时，必然会驱使他们做前锋。而陈武也从未辜负过孙策的重托，每次冲锋陷阵时，所部士兵都能攻无不克，战无不胜（"策破刘勋，多得庐江人，料其精锐，乃以武为督，所向无前。"见《三国志·卷五十五》）。
建安五年（200年），孙策在游猎时遭遇吴郡太守许贡门客们的刺杀，最终因伤重不治而死，临终前要求弟弟孙权接班，并让张昭、周瑜来辅佐他治理江东。孙权上台后，陈武继续得到重用，并奉命督领五校尉的军队（屯骑、步兵、越骑、长水、射声），由是在军中的地位更高。
