1659年5月，张煌言率所部义军与郑成功的部队会合，从海路突入长江。清军在江上设置三道防线：一是将木排钉立一起，上铺泥土，架设大炮，称为木浮营；二是在金山与焦山之间用粗大的铁锁链横拦江面，称为滚江龙；三是在江岸建筑炮台，架设了数百门大炮。张煌言率部主攻，先命人潜水凿断滚江龙，然后驾乘战船，冒着炮火，夺取木浮营。江岸炮台的清军在义军的猛烈攻击下，闻风溃败，郑张联军一举攻克大运河与长江交流处的瓜洲城。
为扩大战果，郑成功和张煌言兵分两路进军。郑成功率部拿下镇江，兵围南京；张煌言则率一队水军上溯到芜湖，并以芜湖为据点，分兵四出，旬日之间光复四府三州二十四县。湘、赣、鲁、豫等地仁人志士纷纷前来投效，一时之间军威大振，江淮半壁河山为之震动。
正当抗清义师节节胜利之时，郑成功由于轻敌疏忽吃了败仗，匆匆回师福建。郑军退走后，张煌言独木难支，只好集中部下将士，溯江再上，计划入鄱阳湖，开辟江西抗清根据地。清军大队人马尾追而至，将义军包围。张煌言奋勇闯入敌阵，连刺带挑，杀伤数十名清兵，冲开一条血路，突出重围。这时，他的身边只剩下一名亲兵了。张煌言绕道皖南、浙西，奔向浙东根据地，途中他又患了疟疾，他抱着病弱之躯，经过两千余里的艰难跋涉，终于回到浙东。
此时，抗清的形势发生了很大变化。郑成功渡海去收复台湾，永历政权覆灭。为了重整旗鼓，张煌言顾不得身体衰弱，立即着手组织新的义军队伍。清廷浙江提督赵廷臣写信劝降，他严词拒绝，赋诗明志："赢得孤臣同硕果，也留正气在乾坤。"
