1129年，金军仅凭500骑兵便追至天长（今安徽东部），宋高宗仓惶南渡。此时刘光世率步骑3000余人前去勤王，还未与金军接触，便溃逃至江南一带。赵构坐稳江山后，任他为元帅府五军都提举，守江州（今江西九江）。接任后，他大办酒席歌会三日，就连金人渡江都不知道。当年9月，金人自黄州渡江，听闻该消息后刘光世立即率军南逃……
此次南逃之后，刘光世移守淮南。在这里，他大肆霸占田产，以至于史书记载''坐拥膏腴水田三万亩''。就在距离上次溃逃不到一年的时间，金人再次南渡。1130年，金将完颜昌攻楚州。刘光世领命后不出兵，只是派了王德、郦琼率领些许兵将前去袭扰金军。
当然了，这位大将军畏惧敌军的表现还不止于此。1133年，伪齐政权南渡进犯淮南，刘光世移驻建康。1134年，金和伪齐联军渡江，宋高宗亲征，并任刘光世一部为行营左护军。两年后，凭借着其部下击败伪齐的功劳，刘光世又被任命为保静节度使。他也成为继韩世忠之后第二个领三镇节度的将领，其麾下兵将之多，一时无两。
即便如此，他依旧畏惧来犯之敌。1136年10月，伪齐刘麟渡河攻宋，刘光世再一次弃城南逃。这一次，在右相兼都督的督迫之下，他才愿意折返迎战敌军。也正因他不战而逃，直接激怒了张浚。同年12月，这位右相兼都督上疏要求罢免刘光世；第二年2月，张浚再次上奏要求罢免这位''长腿将军''。
