岳飞去世后，韩世忠继续着赋闲的日子，尽管他的官爵越来越大，从醴泉观使、奉朝请、福国公，、到潭国公、咸安郡王，甚至镇南、武安、宁国三镇节度使，但他已然没了任何实权。根据《宋史》记载："自此杜门谢客，绝口不言兵，时跨驴携酒，从一二奚童，纵游西湖以自乐，平时将佐罕得见其面。"
似乎是想要忘记当年的戎马生涯一般，韩世忠不但不再接待宾客，也闭口不言和战争有关的事情。此外，他开始接触主张清静无为的道家思想，以及主张因果报应、教人向善的佛家思想，他自号为"清凉居士"，平日里的主要活动便是游山玩水，在西湖畔赏景，这与当年那个个性鲜明、作战勇猛的韩世忠几乎判若两人。
从抗击金军、解救高宗时的崭露头角，到反攻金军、战功累累的意气风发，再到为岳飞鸣冤时的锋芒毕露、据理力争，韩世忠的前半生可谓是勇不可挡。
到了后期，韩世忠遭到打压陷害，不得已捐出财产、退居江湖来自保。此外，他甚至还得避免与主战派接触，将心思从战事彻底抽离，对一名将领来说，这无疑非常残忍。
韩世忠能够在众人噤声时直抒胸臆，这是十分难得的举动，他也因此留名青史，成为了后人眼中性格刚直、不畏权贵的一代名将、民族英雄。
