曾国藩直言，这是一群乌合之众，无事则虚糜粮饷，有事则临阵溃逃，根本靠不住。一名来自美国的牧师也描述江南大营不像军队，如同市集，吃喝玩乐、大烟娼赌俱全。
但他们再看不上，这也是咸丰本就不多的依仗，十分重视，要钱给钱，要粮给粮，倾斜大部分战争资源打造江南大营。
对于太平天国来说，江南大营就是心腹大患，是钉到身体里的钉子，若不除之，吃不香睡不着。事实上，太平天国从没停止过对江南大营的进攻或防守，任何时候都有军队盯着江南大营的动向。开玩笑，这可是堵在家门口的敌军主力，谁敢放松警惕？
1856年6月，杨秀清、石达开率领40万太平军围攻江南大营，以绝对优势的兵力向荣，江南大营第一次被破。清廷也不可能放着不管，于1858年再次驻军，1860年又被忠王李秀成所破。
屋漏偏逢连夜雨，清廷最后的那点底牌，拱卫天津、北京一线由僧格林沁率领的满蒙八旗，又在与英法联军的对决中损失惨重，此后清廷除了几乎没有了属于朝廷中央的军事力量，也就无法再重建江南大营。
