李陵只是问："霍公与上官大人可好？"任立政便顺着说："他们都请少卿回去故乡，富贵是不用担心。"可李陵即使怀念故乡，但全家被诛杀，乡亲们以他为耻，李陵顿感痛心，就说："我回去容易，只怕再次蒙受耻辱，无可奈何！"
汉朝伤了李陵的心，让他的一片忠心东流，李陵不愿回去听别人的闲言碎语，而匈奴单于在其困难之际收留了他，厚待于他，李陵怎可背信弃义？因此说："大丈夫不能反复无常，再次蒙羞。"
所以李陵拒绝返回汉朝，此后一直是留在匈奴，最终于公元前74年病逝。而霍光的权势愈发高涨，成了史上第一个废掉皇帝的权臣，尽管如此，霍光废立刘贺，还是有益于汉朝的发展。
