本以为意气风发的他会续写他辉煌而又令人敬服的军旅人生，却没想到他在历史中的闪光时刻就此戛然而止，在后来的攻辽战役中，刘世光没有及时完成调令，耽误了军机，导致了宋军那一次作战的失败，最终被降职处理。
不过在后来一场起义的叛乱中，刘世光出手完成了镇压，重新复职。而靖康之耻后，金军仅凭500骑兵便在大宋疆土上横行无忌，更是直逼天子脚下，宋高宗赵构仓惶南渡，刘世光非常积极的率兵3000赶到勤王，但他后续的行为却让不少人感到不齿，3000精兵还未与金人接触，便一路溃逃南下。
不过宋高宗赵构却记住了他的好，在后来把他提升为元帅府五军都提举。刚一上任，志得意满的刘世光便开始大肆开设酒席，狂欢三天三夜，结果却让金军在眼皮底下渡江而过，听闻消息后刘世光即刻率兵南逃。
