毕竟是大汉的使节，单于叫卫律去劝苏武投降。苏武见是劝自己投降的，义正词严："我是汉朝的使者，如果违背了使命，丧失了气节，活下去还有什么脸见人？"说罢，又拔出刀自杀。卫律慌忙把他抱住，但苏武因失血过多，而昏了过去。待苏武醒来，单于又叫苏武投降，苏武不投降。单于就把苏武关了起来。
最初，单于向苏武游说，许以丰厚的俸禄和高官，苏武严辞拒绝了。匈奴见劝说没有用，就决定用酷刑。当时正值严冬，天上下着鹅毛大雪。单于命人把苏武关进一个露天的大地穴，断绝提供给苏武的食品和水，希望这样可以改变苏武的信念。时间一天天过去，苏武在地窖里受尽了折磨。渴了，他就吃一把雪，饿了，就嚼身上穿的羊皮袄，冷了，就缩在角里与皮袄取暖。过了好些天，单于见濒临死亡的苏武仍然没有屈服的表示，只好把苏武放出来了。
单于知道无论软的，还是硬的，劝说苏武投降都没有希望，但越发敬重苏武的气节。不忍心杀苏武，又不想让他返回自己的国家，于是决定把苏武流放到北海，即现在的西伯利亚的贝加尔湖一带，让他去牧羊。临行前召见苏武说："既然你不投降，那我就让你去放羊，什么时候生了羊羔，让你回到中原去。"
苏武被流放到了人迹罕至的贝加尔湖边，到了那才发现这些羊全是公羊。在这里，单凭个人的能力是无论如何也逃不掉的。唯一与苏武作伴的，是那根代表汉朝的使节和一小群羊。苏武每天拿着这根使节放羊，心想总有一天能够拿着回到自己的国家。渴了，他就吃一把雪，饿了，就挖野草逮兔子，冷了，就与羊取暖。这样日复一日，年复一年，使节上挂着的旄牛尾装饰物都掉光了，苏武的头发和胡须也都变花白了。苏武又冷又饿又孤独，但是苏武还是坚持下去了。最终苏武被放逐贝加尔湖，靠牧羊维生二十年之久，始终拒绝投降，匈奴对外宣称他早已死亡。
公元前81年，中匈复交，中国派到匈奴汗国的使节听到苏武仍然活着的消息，就告诉匈奴说：中国皇帝曾射下一只雁，雁足上系着苏武求救的信件。匈奴吃了一惊，才把他释放。
