不过在后来一场起义的叛乱中，刘世光出手完成了镇压，重新复职。而靖康之耻后，金军仅凭500骑兵便在大宋疆土上横行无忌，更是直逼天子脚下，宋高宗赵构仓惶南渡，刘世光非常积极的率兵3000赶到勤王，但他后续的行为却让不少人感到不齿，3000精兵还未与金人接触，便一路溃逃南下。
不过宋高宗赵构却记住了他的好，在后来把他提升为元帅府五军都提举。刚一上任，志得意满的刘世光便开始大肆开设酒席，狂欢三天三夜，结果却让金军在眼皮底下渡江而过，听闻消息后刘世光即刻率兵南逃。
刘世光不止是在军事上不作为，他在南逃移往淮南镇守后，更把目光移向了当地富庶的百姓，史书中记载"坐拥膏腴水田三万亩"，令人心寒。
