霍光当年与李陵和苏武都是一朝之臣，既然与匈奴和亲，就要求单于将苏武送还，同时也请李陵回汉朝。苏武出使时，汉武帝颁给他一根使节旄杖，苏武手持旄杖在北海牧羊，十九年过去，旄杖上的毛都掉光了，但他仍然持着这根光秃秃的使节，回到汉朝复命。苏武赢得了汉朝和匈奴人的钦佩，事迹流芳百世。李陵拒绝和他一同回去，在临别时写了一封信《答苏武书》，这封感人的信也一直流传至今。
信中说他投降匈奴而没有如国人所望自杀，原本是打算找机会反戈以报效朝廷，建立功勋，不料志向尚未实现，汉武帝已经残忍杀死了他全家，李陵因而椎心泣血，决意老死在蛮夷之地。在他心目中，是汉武帝对不起他，而不是他背叛了汉朝。
