虽然在洛阳结交了许多名士，可因为胡人身份没能得到一官半职的刘渊依然心中郁结。咸宁五年（279），事情终于有了转机，他父亲刘豹过世了。身为儿子的刘渊继承了左部帅的职位，之后又官至北部都尉、建威将军、五部大都督，还被封为汉光乡侯。
也许是自幼读书的原因，在职期间他展现了卓越的治理才能，"明刑法，禁奸邪，轻财好施，推诚接物，五部俊杰无不至者。"幽州冀州一带的名门大儒和年轻贤俊都不远千里前来投奔，其中还有后来后赵的开国皇帝石勒。
永康元年（300），赵王司马伦起兵杀了贾后，次年又废了晋惠帝，自立为王，由此爆发了八王之乱。整个中原地区乱成一锅粥，匈奴也蠢蠢欲动，以刘宣为首的复国势力暗中推举刘渊为匈奴大单于，正想一展宏图的刘渊简直是喜出望外，与他们一拍即合。
回到匈奴、征调了大量军队后，刘渊的野心已经不仅仅是恢复匈奴汗国那么简单了，西晋的内乱让他萌生了入主中原的想法。面对刘宣的复国谏言，他回答"大丈夫当为汉高、魏武，呼韩邪何足效哉！"刘渊可谓雄心勃勃，想效仿刘邦曹操一统中原。
