旗营当然也早就饥肠辘辘了，当时的旗营将军叫瑞昌，早已卧病在床。李秀成后来的口供说，他命人从城外把劝降书绑在箭上，射入旗营。信中写道，大家给为其主，身不由己，如果开门言和，那么送全营老幼直至镇江，有钱的随身带走，没钱的送银两。瑞昌开了军事会议，决定以身殉国。于是挨家挨户发了火药，用以自焚。
仅仅三天，太平军就攻入了旗营，除了少数清军将领战死之外，包括瑞昌在内大多自杀。旗营士兵与家属奴仆等没有自焚的，太平军当然见人就杀，见房就烧，旗营几乎夷为平地，旗营城墙也烧毁大半。旗营里当时各色人等一共一万余人，等到1864年左宗棠收复杭州，重新点检，还有四十六人。
浙江乍浦有一支海防清军，雍正年间建立，隶属于杭州旗营，有数千人，由杭州旗营副都统领衔。3月份时即被太平军消灭了，除了260人出差的或者调防外地的侥幸留存。
左宗棠后来修复了旗营，不过无论城墙规格还是营坊建筑，风光再也不在了，驻扎的人数也大为锐减。
辛亥革命后，新军在吴山上对着旗营放了几炮，其中一炮打掉了将军旗子。双方零星交了一点火，在几次谈判后，旗营开门缴械投降。几年内，旗营所有房子与城墙一概拆除。
