陈玉成与李秀成在西征还是东进问题上，矛盾重重，陈玉成早就料到曾国藩会占领安庆威胁南京，建议先夺下安庆。李秀成却专注湖北、湖南战局。二人争执不下，陈玉成只得率部南下安庆与湘军血战。洪秀全曾下诏让李秀成与陈玉成合兵攻击安庆守敌，李秀成却借口湖北战事紧张不予支持。这直接导致了西征没有成功，安庆又失陷的双输局面，二人矛盾公开化。
最后发展到什么程度？"假如伪忠王统下遇伪英王之兵卒，皆指为野长毛，是以各拥重兵为卫。苟不如是，人财两失，而居县上者亦不敢问。"（《劫余灰录》）将帅之间的矛盾已经升级，就连部下士兵相遇也相互骂对方为野长毛。可见陈、李二人矛盾积怨之深。
安庆的陷落对天京的安全威胁极大，陈玉成作为安庆保卫战的总指挥，被洪秀全革去了除王爵外的一切职务，身边的嫡系部队也在数次征战中损失殆尽。陈玉成无奈，退守庐州，派出手下扶王陈得才、遵王赖文光等远征豫陕，希望能"广招兵马，早复皖省"。1862处5月，多隆阿围攻庐州，陈玉成势不能守，准备弃城突围，去和远征的西北军会合。
