刘渊祖上是匈奴人，但他与西汉开国皇帝汉高祖刘邦还有点血缘关系。西汉建立之初，国力未充，而北方的匈奴实力强大，汉朝被迫采取怀柔策略：与匈奴人和亲。汉高祖刘邦把一位汉朝公主，嫁给了匈奴王冒顿单于，冒顿单于以此为荣耀，从此子孙世代都从母姓，个个都姓刘，一直传到三国时期刘渊这一代。
曹操在世时，往日凶悍强盛的匈奴已然衰落，曹操为了永绝后患，把塞外的匈奴分散迁移到山西各地，刘渊这一支系部族居住在太原一带，与中原汉人混杂居住生活在一起，祖辈传承数百年的游牧生活逐渐发生演变，和汉人一样耕读传家。
刘渊自小对汉文化非常喜爱，"习《京氏易》、《马氏尚书》，尤好《春秋左氏传》、《孙吴兵法》，略皆诵之，《史》、《汉》、诸子，无不综览"，逐渐成为一个满腹才华的青年才俊。而且刘渊继承了匈奴人的尚武之风，"遂学武事，妙绝于众，猿臂善射，膂力过人"，文武全才，胆识过人，成为匈奴部族首领之一。
