在金兵严密押解之下的宋朝君臣迤逦北行，一路上受尽虐待。沿途只见战火所过之处，曾经繁华富庶的大好河山，到处断壁残垣，满目疮痍。沿途战败遭受金兵掳掠屠杀的惨状，加上满腹家国之恨，令人痛不欲生。
看着这一切，张叔夜彻底绝望了。他开始绝食，只饮少量汤水吊命。君臣一行人离故乡越来越远。这一日，来到了宋、金两国之间的界河白沟。时至五月，北地犹自寒风萧萧，草木不春。众人登船渡河，问船夫到了哪里。船夫说道："这里就是界河啦！"张叔夜闻言，按捺不住满腔悲愤，遽然起立，在船上翘首南望，仰天大呼。之后不再言语。第二日，随从人员发现张叔夜已经自缢。这位文武双全、才华卓著的能臣，最终在家国俱灭的悲惨境遇中绝望而死，带着未酬的报国之志溘然逝去，终年六十三岁。
十二年后的绍兴八年(公元1138年)，南宋与金朝再次议和，张叔夜的遗骸得以回归故国。当船行到鄱阳湖时，狂风肆虐，船只无法前进，遂将其遗骸葬于湖畔。后在其家乡修筑衣冠冢纪念他。
张叔夜死后，同僚张孝纯写诗纪念他："畴昔中朝士，簪绅仰令名。恩威彰辅郡，忠孝卫都城。许国志何壮，为山功莫成。西风故林道，萧瑟感秋声。"读来令人悲怆泪下。清初小说《说岳全传》中，张叔夜被描写为河间府节度使。在金兀术领兵攻河间府时，为避免金兵屠城。他诈降金兵，以保全河间府，随后被封为鲁王 。后来徽宗、钦宗被囚后押往金国时，张叔夜前往拜见，陈述诈降之事后拔剑自刎而死。两个儿子张立和张用，则南下归宋，成为岳飞手下将领。但时至今日，人们对张叔夜的了解，更多的仅仅是在《水浒传》的各种版本中打了个酱油。这样一位爱国志士，一位难得的能臣干吏，就这样远离了人们的视线，渐行渐远渐无息。
