奔袭常熟计划落空，淮军再次聚集重兵围攻常州。4月初，刘铭传、张树声、周盛波全部摧毁常州城外营垒，截断了城内外所有联系渠道，常州保卫战进入城防阶段。但是，陈坤书还是不放弃，他继续坚守，等待援军再次到来。
4月16日，陈坤书率1000老兵悄悄出城，偷袭刘铭传大营，双方爆发战斗。两广老兵彪悍无比，淮军猝不及防，仓促应战，被斩杀数百人。刘铭传毕竟是名将，遭受太平军围攻，并未惊慌失措，很快就稳住阵脚。不久，郭松林、张树声杀到，陈坤书撤退。
太平军主动偷袭，李鸿章非常恼火，下令淮军猛轰常州。由于开花大炮数量有限，李鸿章为了早日拿下城池，再次托人送去5万两银子，希望戈登全力以赴，能亲临第一线作战，炸毁常州城墙。有了白花花银子，戈登不再小打小闹，不当吃瓜群众。
4月26日，李鸿章亲自督阵，攻打北门；戈登率"洋枪队"，攻打南门，利用百余门开花大炮摧毁太平军防御工事。连续攻击两天，南门被"洋枪队"炸出数十丈宽大洞，陈坤书急忙率两广老兵前往堵截，用洋枪射击冲锋敌军，并修补城墙，总算有惊无险。
