实际上，李陵之所以投降匈奴，是准备挟持匈奴单于，回到自己的祖国。可是，汉武帝在长安杀尽了自己的家人，李陵心灰意冷之下决定从此留在匈奴，再也不问汉朝国事。汉昭帝时期，李陵曾经的同僚霍光开始执掌朝政，曾派使臣前往匈奴，希望李陵能够重新回到汉朝。可此时的李陵已经在匈奴娶亲生子，他认为重归大汉已成泡影，并没有听从使臣的建议。就这样，李陵和他的后代世世辈辈生活在漠北，再无离开。南北朝时期，自称是大汉李陵后裔的人频繁出现，南朝时的《宋书》有载："索头虏姓托跋氏 ，其先汉将李陵后也。"
▲李陵碑遗址
在南朝人看来，鲜卑皇族拓跋氏，是汉将李陵的后裔，然而对于该项说法，拓跋氏并不认同。北周时期，高平镇(今宁夏固原)李贤家族称自己为正宗的李陵后裔，还拿出祖传的族谱向世人展示。据谱中记载，李贤的十世祖名为俟得归，曾经是鲜卑族的一个头领，鲜卑建立起北魏之后，俟得归跟随皇室回到中原，又将自己的姓氏改回了汉姓"李"。据说，当初李贤的弟弟李远可以射箭入石，北周的奠基人、西魏文王宇文泰曾亲赐写有"昔李将军广亲有此事，公今复尔，可谓世载其德"之书。可见，北朝时期，李贤家族成为公认的李陵后裔。
