公元306年下半年，晋惠帝食物中毒死后，他弟弟司马炽即位，成为晋怀帝。这时，八王之乱已经进入尾声，七王都死了，只剩下东海王司马越在朝廷独揽大权。晋怀帝任命中书监温羡为司徒；尚书左仆射王衍为司空，并将晋惠帝埋葬在太阳陵。
司马越任命的并州刺史刘琨抵达上党，原在并州的司马越弟弟司马腾则由井陉东下。那时并州饥荒严重，并多次被胡寇侵扰，郡县都不能自保。州里的将领田甄田兰兄弟、任祉、祁济、李恽、薄盛等人带了流民一万多人，跟随司马腾到冀州讨饭，因此这支乞丐队伍被称作''乞活''军。这样一来，并州剩下的户籍不到二万，盗贼横行，道路断塞。刘琨在上党招募士兵，得到五百人，便边打边往并州前进。到州府晋阳时，府第早已焚毁，城里城外一片萧条。刘琨抚慰百姓，颁布法令，情况开始好转，流民也慢慢开始回来。
第二年春正月，晋怀帝改元为永嘉。司马越姑姑的儿子吏部郎周穆和司马越妹夫御史中丞诸葛玫劝说司马越道："主上之所以成为太弟，都是张方的主意。清河王本来是太子，明公应该立他为帝。"司马越不同意。二人一再提起这事，司马越一怒之下把他俩都杀了。
三月，晋怀帝下诏追复杨太后的尊号，并把她改葬进入皇陵；又立清河王司马覃的弟弟豫章王司马诠为皇太子。晋怀帝亲览大政，留心平凡的事情，和晋惠帝大不一样。司马越因为不能专权，十分不高兴，便一再请求出朝回归藩国。晋怀帝挽留不住，终于答应了，司马越便离开洛阳出镇许昌。
