当时的明朝，除了北京之外还有一个陪都，就是南京。虽然北京失守，但是南京还在，当时南京的大臣就拥立福王继位，年号弘光，可惜弘光这个小朝廷只维持了一年就完了，灭亡的主要原因是在清军大举入关进攻江南的关键时候，南明政权起了内讧。这个小朝廷灭亡之后，南京、福建、浙江、广东、西南还是在明军手里，所以那边的明朝遗臣又陆陆续续的建立了几个小朝廷，例如唐王，唐王的弟弟，桂王，鲁王等，张煌言就在这个时候投笔从戎起兵参加抗清，这里很多人有一个疑问，就是在弘光政权灭亡之后，为什么张煌言还要坚持抗清呢？因为在清军占领江南之后，颁布了一个剃发令，也许对于现代人来说剃发无所谓，但是在那个时候，头发象征一个政权的存亡绝续。嘉定就是因为坚决不剃头，起兵反抗，被清军反复屠杀了三次，几十万人在嘉定殉难，这就是历史上有名的"嘉定三屠"。
因为这些类似的事情，使江南百姓人心思旧，怀念故国，反抗清朝的暴虐统治，所以张煌言才能以一届举人的身份起兵，起兵之后，他上书给当时浙江的鲁王，等于辅佐鲁王政权，就开始起兵抗清了。当时东南沿海有最重要的两只抗清力量，一支是张煌言，还有就是郑成功，但是后来因为鲁王被清军击败，福建和广东的政权也陆续灭亡，所以，仅剩下的四川桂王永历政权就成了南明的老大，整个全国的抗清的武装力量都归桂王节制，当时桂王就策划了一个大举北伐的计划，桂王政权联合西南各地的抗清力量北上，要求张煌言、郑成功配合，张煌言就率领着水师三次进入长江口，准备跟永历帝会师，第一次他进长江口时南明军在金山卫登录，望着南京方向遥拜了明太祖陵，第二次打到上海附近而且一次比一次深入，当时江南已经是陷入清军手里久矣，可以说是故国百姓望旌旗，看到故国旌旗来，老百姓们箪食壶浆以迎王师，虽然张煌言三次深入长江，但是因为永历帝没能打到长江边上，所以双方没能实现会师的要求，可是三入长江使江南半壁震动，对于清廷的打击是非常沉重的。（东浙结丹心钱沈几人同一辙，南屏埋白骨岳于二墓共千秋）当时永历帝大举北伐，封郑成功为招讨大将军，以张煌言为东阁大学士兼兵部尚书，张煌言虽然作为郑成功的先锋，但是他的部队毕竟不是主力，只有一万多人，郑军是主力，有十万多人，可惜郑成功骄兵必败，中了清朝两江总督的缓兵之计，北伐失败，后来郑成功撤到台湾，东南沿海就只剩下张煌言一支抗清力量，清军调集大军围剿张煌言，张煌言实在打不过，只好解散部队，但是他自己坚持忠节，虽然部队解散，但自己绝不降清，带着几个下人隐居到附近的一个小岛上，后来由于叛徒告密，被清军抓获，对于清朝来说，张煌言可以说是头号反革命，所以当时的浙江提督，江浙总督都劝他投降，结果他非常慷概激昂的对劝降的大臣讲，"父死不能葬，国亡不能救，死有余罪，今日之事，速死而已，不必多言"
对于张煌言这样的抗清名将本应押解到北京后再行处置，但是清廷怕夜长梦多，下令就地正法，当他奔赴刑场的时候，依然是明朝服饰，而当时杭州城的老百姓在清朝的统治下已过了20年，都已经是长袍马褂大辫子，一看到故国衣冠，无不潸然泪下，到了刑场之后，张煌言眺望凤凰山，说了一句"大好江山，可惜沦于腥膻"，慷慨殉节，在他殉节之前，写了一首诗表示自己的气节"国亡家破欲何之，西子湖头有我师，日月双悬于氏墓，乾坤半壁岳家祠，惭将赤手分三席，敢为丹心借一枝，他日素车东浙路，怒涛岂必属鸱夷"
张煌言死后由生前友人收尸，并由张煌言外甥朱湘玉到总督衙门买回首级殡敛，并遵照他的愿望，把他葬于杭州南屏山北麓荔枝峰下，成为与岳飞、于谦一同埋葬在杭州的第三位英雄，后人称之为"西湖三杰"。友人叶振名登越王岭遥祭忠魂，撰祭文将张煌言与罗纶二人并称为"张司马二客"。清国史馆为其立传，《明史》有传
