所以对吕布的残部也应该加以整编，并为他们选一位合适的将领。吕布这支队伍的老班底是并州军，汉末并州军经历了一系列起起伏伏，队伍构成发生过很多变化，但基本力量没有变，高顺、成廉，魏续、宋宪、侯成、曹性、郝萌等都很早就追随吕布，张辽也是并州军的旧人，他们都是队伍的核心骨干。
并州大体相当于今山西及内蒙的河套一带，汉末属边地，地出名马、人好战，军队有一定战斗力。汉末并州军最早的首领应该是丁原，前并州刺史，吕布做过他的主簿，相当于办公室主任。丁原当时手下有三员主将：张杨、张辽和吕布。
丁原参加了何进、袁绍领导的铲除宦官行动，率并州军南下洛阳，后来发生了一系列变故：何进被宦官杀了，袁绍、袁术杀了宦官，凉州军首领董卓趁乱控制了朝廷，董卓策反吕布，吕布杀了丁原，袁绍逃出洛阳联合关东联军反董……
并州军的三员主将，张杨脱离洛阳在外面独立发展，吕布被董卓收为养子而受到重用，张辽投降，并州军的主力并入董卓集团，以后董卓又被吕布杀了，吕布率张辽以及高顺、成廉，魏续、宋宪、侯成等人转战各地。
