张煌言护送鲁王朱以海到达舟山后，被鲁王任命为右佥都御史，负责招兵买马。张煌言军纪严明，对百姓犹如亲人，百姓们纷纷加入反清大军，张煌言的兵马战舰增多，有了和清朝一拼的资本。清军多次围攻舟山，都被张煌言等人击退。在此期间，他的父亲去世，他得到消息后没有回家奔丧。在忠孝不能两全时，他选择了前者。
接下来的几年，张煌言创造了"四入长江"的战绩，震惊了整个清朝。顺治十年（永历九年、1655年），张煌言和另一位名将张明振率领600多艘战船从崇明岛沿江而上，在江面上，他们攻破清军的层层封锁，直接杀到南京燕子矶。然后趁清军主力到来之前，扬帆而去。把清军气得直跺脚。
同年，张煌言再次由海入江，他们一路烧毁清军的粮草辎重，速战速决，给清军南下带来了很大的困扰。
到了年底，张煌言第三次入长江，他们这一次比前两次更加深入，不仅在南京郊外遥祭明太祖，还夺走了清军大量的火药和大炮。
