苏武说什么也不答应，单于只好又把他送到北海（今贝加尔湖边）去放羊，还说等公羊生了小羊，就放他回来，公羊怎么可能生小羊？单于这么说无非是想长期监禁孙武罢了。孙武到了北海边，身旁什么人都没有，和他作伴的只有那一群公羊和那根代表汉朝的旌节，苏武拿着那根旌节从不离手，连晚上睡觉也搂在怀里，他总想着有一天，拿着旌节回到自己的国家。挨饿受冻练就了他的铮铮铁骨，孙武在北海一呆就是19个年头，汉武帝死后，汉昭帝即位，匈奴又跟汉朝朝廷议和。
于是汉朝向匈奴提出，要求放回苏武等被匈奴扣押的汉朝使者，苏武出使的时候是个壮年汉子，他在匈奴度过了十九年异常艰苦的岁月，回来时已经是个须发全白的老人了。他坚强不屈不怕磨难，永不失节的非凡事迹轰动了朝野上下，无论是做官的还是普通百姓，一提起苏武没有一个不钦佩他的。
苏武持节牧羊的故事也一直被传为千古美谈。
