这一点，连李鸿章都看不过去了。李鸿章认为李元度并非将才，曾国藩却将他领军防守徽州，一吃败仗立即严词弹劾，不愿拟稿，还跟曾国藩据理力争。争执不下之际，李鸿章更是愤而离营。
由于李鸿章的弹劾，李元度被革去职务。后来，在浙江巡抚王有龄疏调下，李元度回乡招募了8000兵勇，号称"安越军"，支援浙江，得以官复原职。1861年，李元度更是联手左宗棠击败了老对手李世贤。李元度因战功授浙江盐运使，升按察使。
这时候的李元度，踌躇满志，俨然一名新星。他可没用想到，曾国藩正在酝酿对他的第二次弹劾。
原因很简单：提携李元度的王有龄，是曾国藩的政敌。李元度投奔王有龄，等于是背叛了曾国藩。
