宣统元年（1909年）正月，清廷以袁世凯患"足疾"为名，让他回河南养兵。六月，张之洞病重。八月二十一日（1909年10月4日），奏请开去各项差缺， 同日在白米斜街寓所（今北京西城区什刹海湖畔白米斜街11号院）去世，葬在河北南皮县双庙村张氏坟场。八月二十三日（10月6日），清廷谥以"文襄"。
时间来到1966年秋的某天，以学生为主的红卫兵造反派，扛旗打锣来到墓地，先将张之洞墓碑拉倒，然后开始掘墓。两个多月之后，一个消息在南皮传开--张之洞的尸体不见了。然而，当时忙于"农业建设"和"阶级斗争"的人们，却渐渐地将这件事淡忘了。1978年之后，许多历史记忆开始复苏。随着研究的深入，洋务运动又在学者的争论中发生了一次形象转换。这一次，洋务派被认为是"中国从封建社会走向资本主义近代化的开端"，应给予一定的历史地位。而张之洞则成为了南皮这个欠发达县的"文化名片"。1993年春，南皮县政府在张之洞墓地上重新堆了坟。张之洞逝世84周年，南皮举行了大型公祭活动，著名心理学家、张之洞的孙女张厚粲也在被邀请之列。让人感到尴尬的是，如此大规模的公祭活动，修建起的却是一座空坟。
2007年6月9日凌晨6点，在张之洞原来坟墓的附近找到两具并列而卧的遗骨，男性遗骨在左，女性在右。研究会鉴定认为："经测量，遗骨与史载张之洞身材一致，而且张之洞墓附近方圆几十米内没有其他坟墓，基本肯定是张之洞遗骨。"
2008年10月4日，在逝世近100年后，张之洞和夫人尸骨，被移至他们最初入土的地方。
