可是他们去的实在不是时候，因为缑王与虞常等在匈奴已经计划着谋反归汉，这个虞常和张胜有旧，等到苏武等人到了匈奴之地的时候，虞常就找到了张胜，并且说出了自己打算在匈奴干一票大的的计划。
他们的谋反计划得到了张胜的支持，但等到临近起事的时候，却有人将消息给泄露了出去，于是单于就派人镇压这次起事，结果缑王等人战死，虞常被活捉，经过审问之后，虞常供出了张胜。
匈奴单于怒不可遏，把张胜连带着苏武都给逮捕了，苏武觉得这次会有辱汉廷，在被审问的过程中，引刀就要自尽，结果被负责审问他的卫律给救了过来。
等到苏武伤势好转的时候，匈奴单于敬佩苏武的忠贞，于是就借助审判虞常、张胜等人，想让苏武投降，为自己效命，亲手杀了虞常，又恐吓张胜投降之后，苏武不为所动，于是就将苏武给囚禁了起来，之后更是把苏武发配到了当时的不毛之地北海，苏武牧羊的故事就发生在这里。
