1860年初，太平军二破江南大营，陈玉成、李秀成趁势攻占了江苏部分地方，这些地方后来都变成了李秀成控制的地区。9月，安庆继续告急，洪秀全制定第二次西征计划，以期攻占武昌，吸引围困安庆的湘军前去援救，以解安庆之围。西征大军分两支，陈玉成一军走北路，李秀成走南线。
安庆本是陈玉成的势力范围，李秀成自从得了江苏部分地区，便将心思放在此地，不愿意离开，只是碍于洪秀全的命令，不得不为之罢了，于是一路上行军缓慢，直到12月初才抵达安徽省南部的黟县，黟县是祁门隔壁，彼时曾国藩的大营正设在祁门的山林当中，李秀成攻下黟县之后，距离曾国藩大营不过五十多里地，李秀成有时候派出去的斥候就在曾国藩大营附近游走。当摸清曾国藩就在祁门之后，李秀成亲自坐镇，安排李世贤、刘官芳两路太平军逼围祁门曾国藩大营。
曾国藩可是被吓得不轻，湘军都派出去了，大营留守不过3000人，比起李秀成的大军，简直不够塞牙缝，曾国藩惶恐不安，一方面调鲍超驰援，另一方面写好遗嘱，为身后事做下准备。而湘军大营中那些曾国藩的幕僚们，纷纷收拾行李，仓皇逃命，昔日对曾国藩的忠诚似乎演戏一般，曾国藩也是大气，干脆将此事提在台面上，主动给要离开的幕僚们发放路费，说如果自己度过这次劫难，大家可以再回来，那些兀自清高的读书人，一下子就不好离开，纷纷发誓死忠，绝不弃曾国藩而去。
