初平元年（190年），关东一十八路诸侯成立了反董卓联军，声势浩大，於扶罗一看这事能成，就联合了汉朝地方部帅张杨，表示听从联军号令，屯兵于漳水，归袁绍调度。初平二年(191年)，於扶罗欲叛袁绍，张杨不从，於扶罗胁持张杨出走。於扶罗与袁绍部将麴义交战，不胜，被迫逃往黎阳，归附董卓。
不久后，董卓败逃长安，於扶罗又转而与黑山军（同是黄巾军余部）联合，不想在内黄之战中，被曹操打得大败。於扶罗率残兵败将与部分黑山军，一起投奔了淮南的袁术。初平四年（193年）春，於扶罗奉命进攻曹操的根据地陈留，最终被击败，於夫罗归顺了曹操。到了兴平二年（195年），归顺曹操的於扶罗去世，其弟呼厨泉继位，王庭驻在平阳。
建安七年（202年），呼厨泉背叛曹操，袁尚派郭援、高干，联合呼厨泉，进攻河东郡。曹操则派司隶校尉钟繇在平阳包围南匈奴军，南呼厨泉最终战败，再次向曹操投降。建安十一年（206年），曹操讨伐袁氏集团的并州刺史高干，向呼厨泉求援，遭到拒绝，最后高干战败被杀，并州也被并入曹操的势力范围。
於扶罗与呼厨泉兄弟两人，趁着中原汉地战乱，多次参与混战，已然把自己当作了汉地诸侯。由于中原内战，许多百姓纷纷逃到匈奴部落以避难，导致匈奴的势力膨胀。这引起曹操的高度警觉，他便派梁习出任并州刺史镇守并州。后来又看到匈奴人反复无常，曹操担心百年之后匈奴势大难制，在做了魏王后，就开始着意削弱匈奴的势力。他借着呼厨泉朝见得机会，将其留在了邺城，用上宾之礼对待他。让他的右贤王去卑回去帮他管理南匈奴各部。
