刘世光不止是在军事上不作为，他在南逃移往淮南镇守后，更把目光移向了当地富庶的百姓，史书中记载"坐拥膏腴水田三万亩"，令人心寒。
虽然麾下兵多将广，但刘世光面对金军却屡战屡退，多次未曾接战便率军溃退，他的不作为也被许多朝中的爱国人士看在眼里，对其感到不齿，在经过了多次上书罢免之后，宋高宗终于同意罢免了他的这一位"救命恩人"。
刘世光的麾下虽然称得上是兵多将广，但却多数为他在途中收揽的流寇、叛军，或许也正是刘世光虽看似兵多将广却屡屡溃逃的原因，这些人虽然归附在刘世光麾下，但却对朝廷十分畏惧，害怕朝廷降罪。
