随着匈奴人活动范围的不断南移，匈奴人的王庭也从一开始的五原郡，到后来的西河郡，再到后来的河东郡。到汉朝末年时，这一支匈奴人的活动范围已经遍布山西省。由于河东郡的离石县成了匈奴王庭所在，胡人甚多，以后各种胡人也纷纷以此为基地，离石县因此繁盛了300多年，"离石胡"也成为魏晋南北朝时期比较特殊的存在。
汉朝末年，虽然朝政日昏，但是匈奴被打出了阴影，只愿意做汉朝顺民，不敢有所动作。这种彼此相安的局面，在中平元年（184年）发生了变化。随着这一年黄巾起义的爆发，汉末混战摧毁了汉朝朝廷对地方的控制力，包括并州的匈奴人活跃地带。中平五年（188年），南匈奴爆发了一场政变，南匈奴右部与屠各部落联合，杀死南匈奴单于羌渠。羌渠死后，他的儿子於扶罗继任单于。不过，杀害羌渠的叛军拥立了须卜骨都侯为单于，于是南匈奴再次出现了两单于并立的局面。
按照以往的惯例，於扶罗作为正统单于，受到了部落的背叛，他决定前往汉帝国首都洛阳，希望朝廷出面，承认自己是惟一合法的匈奴单于。当他紧赶慢赶到了洛阳时，正赶上汉灵帝驾崩，紧接着京城发生十常侍之乱，随后董卓入洛。
中原一时无主，於扶罗恢复了本性，就干脆抢掠一把。他带着几千骑兵，联合白波军（黄巾军余部），进攻洛阳附近的一些郡县，不过当时的民风普遍彪悍，他没有得到什么油水。于是，於扶罗在并州一带辗转逗留，最终在河东郡平阳县一带活动。
