不久，汉武帝再次派李广利出兵匈奴，嘱咐他请李陵暗中相助。然而，李陵原本对李广利心存芥蒂，又加上匈奴单于对他不错，于是拒绝对李广利伸出援手。这使汉武帝更加震怒，又想起司马迁为李陵的辩护之词，觉得被欺骗，便下令将司马迁打进牢狱，司马迁由于家贫没钱赎身买罪，最终被处以宫刑。
等到汉武帝愤怒情绪平复，便派人安抚李陵部队中突围回来的幸存士兵，还派公孙敖出兵匈奴，准备迎回李陵。公孙敖与匈奴兵交战之后不但未能取胜，还回朝禀报汉武帝："俘获的匈奴兵称有个叫李陵的汉军将领教他们习武打仗，来对付汉军，这才使我军败下阵来。"汉武帝忍无可忍，将李陵的亲人全部诛杀。自此，李陵彻底身败名裂。
其实，也是李陵时运不济，那个帮匈奴兵击败汉军的人却并非李陵，而是另一名汉朝降将李绪。李陵得知自己给人背锅导致家人被诛之后痛不欲生，便杀了李绪。但此举除了泄愤也终究于事无补。因为这次的阴差阳错不但使李陵家人被屠尽，更使他返汉的路被彻底断送。至此，李陵想要将功折罪、挽回名声的希望化为泡影。
当时，李陵的内心到底如何，如今已经不得而知。但他确实就呆在了匈奴，不但封了王，还娶了单于的女儿为妻，成为匈奴王庭中的第三把手和真正的贵族。
