升任安徽巡抚后，江忠源很高兴。此时，庐州（安庆失手后，成为安徽临时省会）被胡以晃、曾天养等围攻，庐州知府胡元炜遣使告急，并谎称城中兵力、军饷充足，希望巡抚大人赶尽前来镇守，杀退"长毛"。为此，江忠源在六安留下一千余兵马，而后拖着病体去庐州镇守。到了庐州，江忠源发现自己被队友坑了，城内正规军500余人，兵勇2500余，区区3000兵马，何来兵力雄厚？粮草、军火严重短缺，哪来的充足呢？不过，既然都来了，而且自己还是安徽巡抚，岂能撤离，岂能逃之幺幺。所以，江忠源选择留下，并抓紧时间布置城防，阻止胡以晃大军攻城。此时，清军增援部队赶到，陕甘总督舒兴阿马队屯驻郊外，可并不敢进攻太平军，而是坐视胡以晃攻城。知府胡元炜眼看城池守不住，于是赶尽改换门庭，投降太平军，并做内应。
胡以晃围攻，陕甘总督不敢进兵，内部又出现叛徒，江忠源处境不妙，部下建议他赶尽撤离。但是，江忠源意气用事，决定死守庐州，战斗到底。城破时，部下马良勋背着他逃跑，但是江忠源觉得倍感羞耻，于是奋力挣脱，继续与太平军厮杀，最后投水自尽而亡。
