当时，离石左国城是单于的宫殿，羌渠单于派他的儿子于扶罗援兵东汉以讨伐黄巾军。可当时，不巧的是羌渠单于被国人杀害，所以，于扶罗便带着军队留在了东汉，自称为单于。
董卓叛乱，于扶罗带着他的军队攻伐太原等多个地区，后来，他驻扎在了河内。在于扶罗死后，他的弟弟呼厨泉继承了王位，他的儿子刘豹成为了左贤王，而刘渊就是刘豹之子。再后来，曹操将他的军队分为五个部分，刘豹被任命为左部帅，且所有的将领都由姓刘的人担任。
到了太康年间，旧制度改变，都尉设立，匈奴任命各军队将领，左部驻扎太原，右部驻扎祁地，南部在蒲子，北部在新兴，中部则驻守大陵。
看似地区距离较远，但实际上，都在晋阳的汾水和涧水地区。
