怀帝被俘两年后遇难，先前逃至长安的皇侄司马邺称帝，史称晋愍帝。三年后（316年），刘曜率军包围长安，并断绝晋愍帝君臣与外界的所有联系。此时长安城内粮食奇缺、米价腾跃，大半居民因此饿死。在这种情况下，愍帝君臣自知出逃无望，便在当年十一月向刘曜递交降书，随即被押往平阳。两年后（318年），愍帝遇害，西晋至此正式灭亡。
刘曜因两度俘获晋帝、攻略中原的奇功，被拜为相国、都督中外诸军事，封中山王，长期奉命镇守长安。晋愍帝遇难的同年，刘聪驾崩，太子刘粲即位，国丈靳准逐渐窃取大权。不久，靳准发动政变，在弑杀刘粲后，又将刘姓宗室男女全部斩杀。事后，靳准僭号称帝，并向东晋称藩。
刘曜闻讯后举兵讨逆，并在群臣的拥戴下称帝，不久平定叛乱，并诛杀靳准全族。次年（319年），刘曜改国号为赵，并正式迁都长安，史称前赵。同年十一月，跟刘曜素来不和的石勒在襄国自称天王，国号也是赵，史称后赵。前赵与后赵间连年交战，互有胜负。
