1129年，金军500骑兵追击到天长，宋高宗渡江跑了，刘光世部下还没有遇到金兵就已经四散而逃。而后他被任命为五军制置使，屯守镇江府，随后又升为殿前都指挥使，但那是个手里没兵的长官，是个光杆司令，只能当个摆设。三月，苗傅、刘正彦正准备起兵，九月，金军从黄州渡江，刘光世就带着军队逃跑了，对！没错！将军带兵逃跑，这是多大的耻辱，显然他并没有多大的自尊心，畏惧敌军竟然直接逃跑。
这之后他一直惧怕金军，只要有旨意让他去前线，他就推脱不去，带兵也不严格了，军队里什么人都有，比如叛军、流寇等。但这竟然还成为了当时人数最多的军队之一。他还谎报军额，占用军费，作战也不亲自上前线，而是坐在后方，仿佛是为了在必要时就逃跑。这样的将军让人看了可笑，但更让人难以置信的是他还受重用了。大臣对他都不满意，但是高宗考虑到南宋的政权还不稳定，不得不依靠他。笔者认为这种将军没什么可以依靠的，只会带着兵逃跑。高宗当时不仅仅想方设法的满足刘光世提出的要求，还不断给他加官进爵，因此周边流寇投奔他的就更多了。
1136年，右相张浚上奏他骄惰不战，不可以为将军，希望可以罢免，左相则不认为，说他是将家子，很多将士都是出自他的门下，如果无故罢免，怕是人心就变了。1137年，右相再次上奏："刘光世沉浸酒色，不恤国事，语以恢复，意气拂然，乞赐罢斥，以儆将帅"同年四月，他被罢免为少师、万寿观使，其部隶属都督府。
