苏武在匈奴期间，其实降将李陵曾经把苏武家的情况告诉了他：母亲已死，哥哥苏嘉、弟弟苏贤因错自杀，妻子已改嫁，家中只剩两个妹妹、两个女儿和一个儿子。对于苏武的妹妹和女儿，史书中没有任何记载，但是对他的儿子苏元进行了记载。
不过，可惜的是，苏武父子仅仅相聚了一年，就因牵涉到官场的权力斗争，苏武被免职，儿子苏元被处死。其实，按照一般情况，苏武也会被杀，但毕竟他是于国有功之臣，且深受朝廷上下尊敬，因此最后才只是免了他的职。
职位被免，苏武并不伤心，但唯一的儿子被杀，对苏武是莫大的打击。就这样，过了没几年，汉昭帝驾崩，汉宣帝继位，当时有些大臣念及苏武之功，便上奏皇帝，随即汉宣帝恢复了苏武的官职。
更为难能可贵的是，汉宣帝得知苏武老来无子的情况后，便询问大臣苏武在匈奴19年，难道没有妻子子女吗？这一问才得知，苏武在匈奴其实也有妻子，而且还有一个儿子，名叫苏通国。汉宣帝闻听此信，马上派使者前往匈奴把苏通国赎了回来，并给了一个官职，以便让苏武得以香火不灭。
如此这般，苏武虽然官职不高，但备受朝廷大臣尊敬，最终以80多岁的高龄病逝。
