然而，对他帮助最大的还是要属非常仰慕于他的南宋大将军张俊的诸孙张鉴。他虽依附于张鉴而生存，却彼此惺惺相惜，相伴十余年，他说："情深骨肉"。张鉴生活富足，在多地均有田产，甚至三番五次要为他买官进仕途，但都被他婉拒。
即使穷困潦倒，他也要像他的词所表现的那样"清空高雅"，这是他腹中才华支撑他活下去的底气，是他与众不同的地方。
高雅的格调让他可以更坦然地面对惨烈的生活。然而福不双至，祸不单行，公元1204年，杭州大火，家被烧毁，而先前资助过他的人，也先后去世，最后贫病交加，于公元1221年卒于西湖，在好友吴潜的帮助下安葬于杭州钱塘门外的西马塍（chéng）。
他一生孤苦，终生布衣，却成为继苏轼之后，中华民族又一位难得的艺术全才，在诗词书画乐均有卓越成就，然而比苏轼更加不幸地是，正史传记只给了他只言片语，还须从一些手札笔记及他自己的诗文中寻找芳踪，用碎片拼凑他的一生。
他的词以意境"清空"和"骚雅"而著称，深受后世所推崇。但是王国维在《人间词话》里却说："仅有"清空"之感，无弦外之音，与苏、辛词相比，少了一层意境，多了一层'隔'，算不得第一流词人。"
