宋高宗也不是不清楚这一点，考虑到政权一直不稳定，因此，李光世多次违抗圣旨逃跑，朝廷都没有追究其消极抗战的责任，而右相兼都督的张浚却极为不满，多次请求朝廷追究刘光世的责任。
绍兴六年（1136年），张浚上奏称："刘光世骄惰不战，不可为大将，请罢之！"
而左相赵鼎出来唱反调，他说：刘光世是"将家子，将率士卒多出其门下，若无故罢之，恐人心不可。"宋高宗最终还是听信了赵鼎的谏言。
绍兴七年（1137年），不死心的张浚再次弹劾刘光世："沉酣酒色，不恤国事，语以恢复，意气拂然，乞赐罢斥，以儆将帅！
"这一次，宋高宗有些恼火，于是将刘光世降至少师、万寿观使，其部众收归都督府掌控。
