东汉光武帝建国后，对匈奴实行了怀柔政策，分而化之，匈奴分裂成了南匈奴与北匈奴。其中南匈奴内迁，移居到了靠近汉族一带。他们在中原文化耳濡目染之下，汉化程度很高，成为了制约北匈奴的掣肘。曹魏时期南匈奴内分为五部，刘渊就是左部帅刘豹之子。
因此刘渊作为匈奴人，却自幼熟读儒家经典，拜上党崔游为师，学习《毛诗》、《马氏尚书》、《京氏易》。他还博览群书，"史、汉诸子，无不综览"。而且他并没有因为读书而丢下匈奴骑马射箭的本事，相反，其手臂修长，臂力过人，精于射箭，武力妙绝于众。
咸熙年间（264-265），刘渊曾作为质子在洛阳居住，这时候他就展现出了成大事者善于交往的一面，十分受到朝堂高层的认可。崔懿之、公师彧都对他十分崇敬，太原王氏的王浑也派自己儿子王济去结交他，甚至连魏元帝都对其颇为赏识。晋武帝司马炎废魏立晋后，也从王浑那里听说了刘渊，召见交谈后对他赞不绝口。晋武帝本来想委以重任，不过被孔恂等大臣以"非我族类，其心必异"的理由谏止了。
