落草为寇不是石勒本意，没多久他就投靠了一个叫公师蕃的人，石勒这个汉名也是从军之后一个叫汲桑的人替他取的。公师蕃的人马很快被朝廷镇压下去，石勒又投奔了已经称汉王的刘渊。刘汉是胡人在北方建立的第一个政权，正是用人之际。石勒在刘渊手下，表现出非凡的军事才能，他的部队纪律严明，不私掠、不欺压百姓，石勒颇得民心。公元311年，石勒和刘曜、王弥一起攻打晋都洛阳，刘、王两人只顾烧杀抢掠，石勒却跟他们不一样。
在攻破洛阳的同一年，石勒在苦县大破十万晋军。这支晋军的统帅就是王衍。王衍当年差点把石勒抓来杀掉，这回落到石勒手里，因为他生得风度翩翩，石勒动了恻隐之心，不想杀他。但是最后，王衍还是被石勒的部下推墙压死了，命运的轮回是很奇妙的。
刘渊驾崩之后，继任的刘聪更是无力约束石勒。石勒以冀州为据点，经营自己的实力，先后吞并了王弥、刘琨、王俊，虽然名义他是刘汉的"征东大将军"，其实已经成一方诸侯的霸业。
当时刘汉政权最有实力的将领，一个是他，另外一个是刘曜。刘曜是刘渊的侄子兼养子，刘汉政权有内乱时，石勒和刘曜都向都城平阳发兵，刘曜先一步平乱并定都长安称帝。刘曜先封石勒为赵国公，后又封赵王。石勒是有抱负的，他并不接受刘曜的安抚。他曾说过，"没有孤家兄弟，刘曜岂能南面称朕！帝王难道永远是帝王吗？不管赵王、赵帝，孤自己愿意称什么就称什么，他能限制得了吗！"
