最终，匈奴单于为了使苏武屈服，把他流放到北海荒无人烟的地方放羊。
“苏武牧羊”背后的故事
在苏武被流放的时间里，他已经向匈奴投降的昔日好友李陵曾去看望过他，告诉了他有关他家人的不幸消息。
李陵告诉苏武：苏武的哥哥、弟弟都因为触犯了封建法律而自尽，苏武的母亲也已经过世，他的妻子亦已改嫁，其余的亲属都没了音信。
苏武得知消息后，回复：“这并不是什么不幸的事情，因为我们家能做官受禄，全是皇帝的恩惠”。此言虽冷血无情，却大义凛然。遗憾的是，这番言论也是存在疑点的。
苏武与李陵会面时的谈论，只有他们二人知道。班固可以在《汉书》中记载二人的对话，自然是苏武回到汉朝以后自己向朝廷汇报的。
当苏武回国之后，得到了非常优厚的待遇。他除了得到钱物赏赐外，还被封为典属国。后来苏武唯一的儿子参与谋反被处死，汉宣帝念苏武有功，便询问苏武是否还有孩子。
苏武见状才通过别人说明：他在匈奴期间曾与胡女生了一个男孩。可见，苏武在归汉之初，将自己的真实情况隐瞒了，他并没有向皇帝如实汇报，至少匈奴女子为他产子一事，他没有向任何人说过。
由此可见，他为了自己的荣华富贵所抛弃的，正是他在北海牧羊时，与他朝夕相处的妻与子。
