然而，这还不是最严重的。就在匈奴准备派使者护送苏武的使节团返回汉朝复命的时候，匈奴内部发生了一件大事。当时，匈奴缑王与流亡在匈奴的虞常等人暗中策划绑架单于的母亲并投奔汉朝。
一个多月后，虞常等趁匈奴单于外出打猎之机准备行动。谁知虞常队伍中出现叛贼，揭发了他们的计划。单于子弟先发制人，缑王战死，虞常被活捉。单于得知此事，派卫律审理此案。
张胜听到消息，担心自己和虞常所说的话被披露，便把事情告诉了苏武。苏武说道："事已至此，一定会牵连到我。如果我受到了伤害，就更对不起国家了。"于是他想自杀。亏得张胜等人制止，苏武才打消了这个念头。在审理中，虞常果然供出了张胜，而苏武也被牵连。从此，苏武就开始了被扣匈奴的生涯。
