太平天国将领石达开和胡以晃正率军向安徽出发，他们一路上边走边攻城，于是，大部分安徽城市都被太平军拿下了。此时，太平军掌握了整个安徽省。面对困境，江忠源再度化身为清廷的"救星"。此时，江忠源被临时任命为安徽巡抚，立即向庐州进军，试图阻碍胡以晃的十万大军。因为皖北的地形十分复杂，而太平军早已占据其优势地带，所以战况对清廷十分不利。
而且，江将军手里可调动的军马实在有限，据说，当时守城的清军只有三百人，江将军随军的将领也仅有五千人而已。之后，江忠源准备按防守南昌的方法，再度炮制，于是，他命众人死守城门上，自己则率领军队驻扎在水西门。可是，庐州城墙低矮，城内兵马不足，物料又远不及南昌时期充足，江将军见势头不好，马上向咸丰请兵。
咸丰皇帝先后调来了河南、江苏等地超过万名士兵的支援。虽然，清军的援军已经是快马加鞭的赶来了，可是，他们的道路却被太平军封死了。同年十二月中旬，太平军兵临城下，他们立即采取围城方式进攻。清军被歼灭两千人后，各路援军深感恐惧，于是，驻足观望，不敢上前。公元1854年一月中，太平军向庐州发起猛烈的进攻，江中源率军奋力抗敌，最终失守。
江忠源本来在此主张歼灭太平军，没想到却被对方重重包围，身陷孤城。太平军持续围攻庐州超过一个月，以城外居民家为掩护，持续挖地道，进攻水西门。江忠源识破了对方诡计，要求清军从城内向外挖地道，从而成功破坏了对方的九条地道，连续堵住了太平军的两次冲锋攻城。太平军立即改变策略，在水西门月城旁边改挖双层地道，这可让江将军大没想到。
