正当苏武以为要老死北疆时，汉武帝崩了，昭帝即位，汉匈关系得到了缓和，为此，汉朝向匈奴提出要迎回被扣押多年的汉使苏武等人。匈奴人却不想归还苏武，仍谎称苏武已死，后来，还是苏武的老部下向汉朝新来的使者透露了苏武陷身北海的消息，于是也向匈奴人编造了个"鸿雁传书"的传奇故事，终于让匈奴人哑口无言。
昭帝始元六年（前81年）春，苏武回到长安。苏武归汉时，却没能将胡妻与儿子苏通国一同带回长安，而是将他们留在了北海。苏武回到长安不久，他的嫡子苏元因参与谋反被处死，苏武本人也受到案件牵连，被罢了官，夺了俸，一下子由万民景仰的英雄，沦为孤苦无依的可怜老头。
