三月二日，张玉良率领清军救援部队，从杭州城东北部的艮山门攻入杭州。太平军看到旗子上的张字旗，以为是另一支他们害怕的张字军队，况且解围天京目的已达成，所以迅速撤军。此战旗营损失甚微。
1861年10月，太平军打算占领杭州。李秀成率军从严州一路横扫过来，沿杭州城西边古荡开至杭州城外。此时，守城清军除了林福祥一支三千人筑营在城东望江门外，其余的都退入城内。当时的浙江巡抚是王有龄，胡雪岩第一次发大财就是与王有龄官商合作。
城外的林福祥派人送信给城内，叫城内清军出城筑营。城内守军将领与他判断不一，犹豫了一个晚上。结果，一夜之间，太平军在杭州城外到处筑营，整座杭州城被围得水泄不通。胡雪岩购买的两万石大米停泊在钱塘江上，进不了城。
城内的粮食很快就见底了，百姓们把树皮，皮革都吃尽了，甚至有人倒在地上，还在喘气，腿上的肉就被人割走吃了。28日，太平军攻破城池，浙江巡抚王有龄与大部分官员又纷纷自杀了。太平军放开手脚大肆杀戮，原先杭州城有七十多万人，最后只剩下七万人，当然除了被杀的饿死的之外，也有背井离乡的。
