刘光世屡次临阵脱逃，抗命不遵，但宋高宗却不敢惹他，反而不停地给他加官进爵，结果这个逃跑将军的官职越做越大，与韩世忠同时成为宋朝仅有的两个三镇节度使。原因很简单，刘光世一贯畏敌避战，纪律败坏，在他的队伍里当兵，不但不用上阵冲杀，还可以坐享国家粮饷，肆意抢掠民财，结果四方土匪、叛军、散兵游勇纷纷归附，使得他的队伍成为宋朝武将中兵力最雄厚的一支人马。
宰相张浚对刘光世深恶痛绝，多次上书朝廷，请求罢免其兵权，但很多人认为不可，因为刘光世隐然已成为拥兵自重的大军阀，其部下只认刘光世，贸然拿掉他，只怕会激起变乱，甚至导致他们大批投敌。结果宋高宗也看不过眼，就把他撤换下来。果不其然，刘光世旧部不久后哗变，将近五万多人叛宋投敌。可见这个刘光世，已经成为南宋的一颗毒瘤，不仅无益还有大害。
胆小如鼠的刘光世最后富贵终老，死后还被封王，比之忠心抗金却被冤杀的岳飞，历史有时确实让人无语。但是非自有公论，刘光世的丑恶行径，使得他被牢牢钉在历史耻辱柱上，留下千古恶名。不过，刘光世虽然为人不齿，但他有个后代，却名震一时，此人就是明朝开国功臣刘伯温。
《永嘉郡刘氏族谱》等资料记载，刘伯温，正是宋将刘光世的直系后人，是他的七世孙。刘光世懦弱无能误国害民，但刘伯温却有经天纬地之才，定国安邦之志，为朱元璋开创明朝立下不朽功勋。后世把他视为朱元璋的军师，认为他可以和智圣诸葛亮齐名。
