晚清时期，太平天国运动爆发，清庭直属的八旗兵和绿营兵早已羸弱不堪，难以担当镇压起义的重任。于是在朝廷的授意之下，地方巡抚、总督们纷纷招募乡勇、组建团练。曾国藩的湘军就是在这个背景下建立的。
后来，在曾国藩的指示之下，李鸿章又招募了淮勇边练了一直地方团练，因其兵源以及主要将领大多来自于安徽江淮一带，故而称之为淮军。淮军组建之初，即是为了前往江苏一带阻击太平军的。1861年太平军向上海进发之后，上海的守备清军难以抵抗，而外援英军亦未能赶到。于是淮军乘坐英国轮船，渡江穿过太平天国辖区后直抵上海，并与英、美等国组建的常胜军等洋枪队合作对抗太平军。
当时淮军一共有14个营，除却留驻池州的"济"字营外，其余13个营约莫九千多人均抵达上海。这些来到上海街头的淮军将士们，因为刚刚成军不久，许多人衣着和武器过分简陋，被人们嘲笑为"叫花子兵"。
