他与石勒等少数民族政权会同一处，把洛阳给攻灭了。这时不仅怀帝司马炽就成为了他的俘虏，而且就连他的皇嫂，也就是此前惠帝的羊皇后，也被他纳为了王妃。随着怀帝驾崩，司马邺就跑到长安宣布称帝。刘曜当然对此不能容忍，很快就带兵打到了长安。
晋愍帝被围困在城中，没有人肯来勤王，后来居然连吃饭都成了问题，为此只好开门投降，成为被刘曜俘虏的第二位皇帝，并在两年后被处死，西晋王朝也从历史上正式宣告灭亡。由于他立下了赫赫战功，为此皇帝就把他拜为了相国，让他长期驻守在长安。然而在刘聪驾崩后，靳准就发动了政变，不仅自立为帝，而且还选择了向东晋称臣。
