可惜，缑王部下出现叛徒，导致缑王兵败身亡，张胜与虞常也被且鞮侯单于处决。苏武事前并不知情，因此未卷入其中，幸免于难。在此期间，苏武曾多次企图自杀，但都被拦下或被医治挽救。
二、北海牧羊 且鞮侯单于派心腹卫律劝降苏武，但苏武严词拒绝。于是，他被流放到荒凉的北海牧羊，北海即今贝加尔湖。 贝加尔湖位于北纬51°至56°之间，冬季平均气温可低至-15℃到-30℃。两千多年前的苏武没有现代保暖衣物，只能依靠羊皮御寒。他在北海的生活极其艰苦，只能挖野草、捕老鼠充饥。即便如此，苏武坚持了十九年，从未向匈奴投降，也拒绝了好友李陵的劝降，显示出他作为汉使的坚贞气节。 在北海期间，苏武也遇到过善良的人，如匈奴的于靬王。于靬王发现苏武擅长编织渔网、纺丝和校弓弩，就送给他衣物和食物，让苏武的生活稍微改善。可惜三年多后，于靬王去世，苏武的生活再次陷入困境。后来卫律还派人抢走他的牛羊，生活更加艰难。幸而李陵心存愧疚，通过妻子以个人名义送来数十头牛羊，使苏武的生活得到一些改善。 三、返回汉朝 汉昭帝时期，壶衍鞮单于向汉朝称臣，汉匈关系缓和，苏武终于有机会回到汉朝。然而起初，壶衍鞮单于不愿放人，还谎称苏武已死。 幸而苏武的旧部常惠私下劝说守卫的匈奴人，让其带自己去见汉使，证明苏武仍然健在。壶衍鞮单于无法再狡辩，只得同意释放苏武。始元六年（前81年），苏武终于结束长达19年的流放生涯，返回汉朝，得以善终。
