天汉四年汉武帝命令公孙敖领兵攻打匈奴，公孙敖没能完成任务，便谎称李陵帮匈奴训练军队。汉武帝大怒，将李陵母弟妻子全部诛杀。李陵听到这件事之后，也没有抱怨汉武帝，而是认为当时投降匈奴，并帮助匈奴训练兵员的李绪害了他，所以将李绪杀了，也算是为汉家清除了一大隐患；此后更带着被单于要求娶的妻子，住到偏远的地方，基本和匈奴采取不合作的态度，只有在遇到单于要决大事时，才"入与决"。李陵起初应该是诈降，但因武帝灭了他全家，导致他真降。
李陵在匈奴呆了二十五年，和他妻子跖跋氏生养了几个儿女，余则基本无所事事，惟苟且其百死之身而已。汉昭帝即位后，李陵的另外两个老友大将军霍光、左将军上官桀辅政，二人与李陵交情非常好，便派李陵故人陇西任立政等三人去匈奴招还李陵。然而李陵深深明白，自己的汉奸之名已经坐实了，朝廷可能会给他平反，但民间那些道学文人们可不会那么轻易放过他，人言可畏啊！李陵又岂能回去再受罪，做个反复小人。何况他的老母妻儿已全被杀了，李陵又岂能轻易释怀？最后李陵决意留在匈奴，不再归汉，汉昭帝元平元年，公元前74年，李陵老死匈奴，死的默默无闻，秋夜无声。李陵以其特殊的经历使其成为历史上颇有争论的人物。有人以李陵投降匈奴而不耻于他，也有人认为他敢以"步卒五千人横行匈奴"，并非怕死。"将军百战声名裂。向河梁、回头万里，故人长绝。"(辛弃疾·贺新郎)也许只有司马迁评"其功可以抵过"的那一番言论，才是历史对李陵的公正评价。
李陵无疑是不幸的，但大概是上天也感觉对李陵不公吧，所以李陵的后人人才辈出，其中有历史记载是李陵后代就有2大家族，根据《隋书.卷三十七.列传第二.李穆传》记载："李穆，字显庆，自云陇西成纪人，汉骑都尉陵（李陵）之后也。陵没匈奴，子孙代居北狄，其后随魏南迁，复归汧、陇。祖斌，以都督镇高平，因家焉。父文保，早卒，及穆贵，赠司空。...穆以二兄贤（李贤）、远（李远）并为佐命功臣，而子弟布列清显，穆深惧盈满，辞不受拜。"李穆是北周名将。累迁都督、大将军、柱国大司空，屡建奇功。公元581年，杨坚受禅登基，封李穆为太师，位列三公。当时李穆的儿孙们都居高官享厚禄，李惇为凤州刺史、李怡为渭州刺史、李雅是大将军兼荆州总管，李氏成为当朝最显赫的名门望族。而社会上谶语四起，"杨花落，李花开"、"桃李子，有天下"的民谣沸沸扬扬。隋炀帝杨广第三次出征高丽时，一个名叫安伽陀的方士自称能预见将来，他对隋炀帝说："当有李氏应为天子"，并劝隋炀帝尽诛天下李姓；隋炀帝心腹大臣宇文述与李穆的第十子李浑有很大的矛盾，一直寻隙报复，便借机诬告李浑。随后，隋炀帝对李穆后人痛下杀手，杀掉32人，其余全部流放。不过"杨花落李花开"的谶语最终还是实现了，但灭掉隋朝的不是申国公李穆的后人，而是唐国公李渊！
