崇祯九年（1636），年仅十六岁的张煌言参加了县试，他不但在基础的文试上表现出色，还在朝廷为了选拔文武兼备人才而增加的骑射考试中发挥出众，接连三箭都击中了标靶。武艺不凡，又精通韬略，这在日后成为了张煌言得到重用的一大因素。
清顺治二年（1645），大举南下的清军已经在明朝灭亡后趁势夺取了北方的大量土地，并进一步向南进发，兵锋直指宁波城。当时，扬州、南京等主要城池尽皆陷落，但张煌言并没有选择投降清军，而是积极参与到明朝遗臣们的反清斗争当中。同年，张煌言随张国维、钱肃乐等人共同拥立鲁王朱以海在绍兴监国。
然而，清军的攻势实在过于强大，而残余的明朝势力则难以调动足以与之匹敌的军队。在前者的猛烈进攻下，杭州、绍兴也很快被攻陷，而张煌言等人只得带着鲁王经由台州逃往了海上。等到清军攻势稍缓，张煌言再度冒着危险前往浙东地区招募义军，凭借积极活跃的态度，他被鲁王授予了右佥都御史的官职。
顺治四年（1647），张煌言因在海上遭遇飓风翻船而落入清军之手，不过七天之后他便找到机会逃回了海上。另外，他还曾经在陆地上遭遇清军的包围，多亏了曾经的武艺基础，这才成功突围了出来。和当年岳飞率领岳家军时下令''冻死不拆屋,饿死不掳掠''类似，张煌言也严格要求自己率领的部队，命令他们不得掳掠和欺压百姓。因为对平民的尊重，张煌言也颇受民众拥护和喜爱。
