中唐以后，随着藩镇割据，一些河北军阀南下，使得两淮地区出现像淮西淮南那样的强力藩镇。比如李希烈部，以及蔡洲的忠武节度使，以及淮南节度使等。唐代藩镇战争时，唐宪宗时期有名的一仗--"雪夜袭蔡州"，就是通过平定淮西的蔡洲，震慑各地节度使，使得各地藩镇臣服于唐王朝。到了五代十国时期的杨吴政权，其创建者也是晚唐淮南节度使杨行密。他以江淮起家，成为五代十国时期南方实力最强的政权。而长时期浓厚的战备气氛，使得江淮地区有着浓厚的尚武从军风气。
真正让淮兵成为王朝主力军队则是到了南宋时期。当时淮河成了宋金东部边界。这使得南宋主力军队大量部署江北与淮南。比如楚州武锋军兵力编额为一万一千人。除了武锋军外，还有淮安州左军和右军有一万一千人。在扬州还有强勇军，神劲军等。开禧年间，两淮东宣抚使丘崈"亲往扬州部分诸将，悉三衙、江上军民之兵，合十六万一千四百三十一人。"
又比如宋理宗嘉熙年间，淮河地区的军队仍规模巨大，"淮西、淮东各不下数万"。到了宋度宗时，"姑以两淮言之，官兵不下十七、八万。" 除了部署大量正规军，南宋朝廷在淮南还设立大量民兵土丁。按李鸣复的说法；"盖以屋庐田业，以系其志，有妻子骨肉，以坚其心，其势不尽力不止也。" 即因为个人利益和国家利益联系在一起，所以他们的战斗意志最强烈更高（就像唐代淮西军阀经常对士兵说，一旦失败，你们的家产和老婆孩子都不属于你们了）
