从西汉末年起，有一些匈奴人分散居住在北方边远郡县，他们和汉族人在一起生活久了，接受了汉族的文化。匈奴贵族以前多次跟汉朝和亲，可以说是汉朝皇室的亲威，后来就改用汉皇帝的刘姓。曹操统一北方后，为了便于管理，把匈奴3万个部落集中起来，分为5个部，每个部都设个部帅，匈奴贵族刘豹就是其中一个部的部帅。
刘豹死后，他的儿子刘渊继承了他的职位。刘渊自幼读了许多汉族人的书，文才很好，同时武艺也很高强。后来，刘渊在西晋的成都王司马颖部下当将军，留在邺城，专管五部匈奴军队。
公元304年，刘渊回到左国城，匈奴人想借八王混战之机，复国兴邦，便拥戴他做大单于。他集中了5万人马，亲自率军南下，帮助晋军攻打鲜卑兵。
