但他的人生似乎总不能平静。本来以为自己能够在长安好好享享清福的苏武万万没想到，归来后，家中板凳还没坐热乎呢，自己又挪位置了，这次直接挪到大狱中去了。
昭帝七年，上官桀、上官安与当时手掌大权的司马大将军霍光争权夺利，不仅多次收集霍光的犯罪证据，上交给燕王，让燕王呈给皇上，还为苏武打抱不平，抓霍光的小辫子，说："苏武使匈奴二十年不降，还乃为典属国，大将军长史无功劳，为搜粟都尉，光颛权自恣。"听到这儿，估计霍光眼睛都要喷火了，巴不得搞死上官家。
事实证明，霍光生气，后果很严重，不仅上官家全军覆灭，燕王也已被处死。啧啧啧，明知斗不过，还去斗，这就有点不自量力了。然而，都已经这样了，霍光还不肯罢休，誓要斩草除根，追查燕王全部同伙，这其中偏偏就有苏武的儿子--苏元。于是，苏元被杀，而本就与燕王和上官家私交甚好的苏武，受了自己亲儿子的连累，锒铛入狱了。这一关就是六年。
六年后，即位的汉宣帝念着苏武的忠心以及他在匈奴受的多年苦难，把他赦免了，还赐了他许多钱财，但苏武一点都没留下。"所得赏赐，尽以施予昆弟故人，家不余财"。
