秦桧死后一年，张孝祥与表妹时氏结婚了。时氏嫁给他后，两三年就去世了，张孝祥写了三则短短的悼文，除此之外，他的诗词里再没有只言片语提到过她。可见，他与时氏感情平淡。
儿子张同之长大后，与张孝祥仍有来往，在张孝祥的诗集中保留有与儿子的和诗。而从张孝祥写给李氏的诗词来看，他对李氏一直处于深深的忏悔与怀念中，可谓情深意笃。
有一次，张同之远道来看望张孝祥，张孝祥看到儿子都长这么大了，十分思念李氏，于是写了一首《转调二郎神》：想静拥孤衾，频挑寒灺，数行珠泪……
1169年夏天，张孝祥与好友泛舟芜湖时，突然中暑身亡，终年37岁。宋孝宗听说后，深为惋惜，有用才不尽之叹。他去世那天，"商贾为之罢市，两河之民惶惶如失所恃"。
张同之后来不辜负父母期望，考中了进士。他上表请求荫封其母李氏，这样，张同之的墓志铭上才得以出现"生母李氏"这几个字。至此张孝祥的这一段地下婚姻，总算露出了冰山一角。
