建安四年(199年)底曹操将吕布围困于下邳城，十二月癸酉(199年2月7日)吕布走投无路投降，之后被曹操缢杀。
吕布死了，但吕布集团仍在，下邳城破之前吕布的部将侯成、成廉、魏续等临阵反叛改投曹操阵营，还有其它投降或被俘虏的人马，如何安置他们是曹操要解决好的一个问题。
按一般想法，对这些"政治上不可靠"的队伍应该分散到各部队中化整为零，以免日后生乱。但在当时这未必是个好办法，因为那时联系不便，人的乡土观念更重，远离故乡的人一旦失去由同乡构成的集体就会感到不安全，要么逃亡要么叛乱，把他们仍编在一起交给可靠的人去指挥才更妥当。
曹操当年在兖州与青州的黄巾军作战，双方打得很激烈，曹操最后全取对手，俘获三十多万人口，曹操从中挑选一部分人组成一支队伍，号称青州军，是一个独立的作战单位，也是曹军里最能打的队伍之一。
