比如东晋时期，谢玄作为南兖州刺史时，就把南兖州的军事治理机关从京口（今江苏镇江市）移到广陵（今江苏扬州市），募集流民帅，组建新军。新军以分布在江淮一带的徐、青、兖三州流民为主体。其中包括彭城（今江苏徐州市）的刘牢之等人。谢玄任命刘牢之为参军，率领精锐作为前锋。那些属于半武装集团的流民，本身就有一定作战能力，经过整训与重新武装后，战斗力十分强悍。他们就是后世著名的北府军。而北府军的战斗力已经在淝水之战中体现得淋漓尽致了。
而到了隋朝末年，一代枭雄王世充的起家部队就是江淮精锐。他们是瓦岗军以及李唐王朝的强劲对手。同样起兵于江淮的杜伏威，曾经率领江淮军消灭隋将陈棱部6000精兵，还创造数千江淮兵击败李子通数万人的纪录，并最终占据淮南和江南地区。而武德八年（626年），突厥寇进犯太原，李靖为行军总管，统江淮兵一万，与张瑾屯大谷。当时诸军不利，靖众独全。这除了李靖本身的杰出才能，和江淮兵善战也分不开的。
