汉昭帝在位之时，曾经的好同事霍光想要派出使者会见李陵，邀请他重返中原。只是，此时的李陵在中原哪里还有家呢？于是这一次对他来说本应该是十分宝贵的机会，最终也被他给拒绝了。此后，李陵及其家族的后裔，就消失在了历史的记载中。
只不过并不是永久的消失。到了后来的南北朝时期，在《宋书》之中又出现了李陵后裔的身影
''索头虏姓托跋氏 ,其先汉将李陵后也。陵降匈奴,有数百千种,各立名号,索头亦其一也 。''
也就是说，在南朝人的眼中，李陵的后裔已经发展为了鲜卑皇族拓跋氏。只是拓跋氏的人当时并不承认。但是到了北周时期，李陵家族后裔又出现了。这一次是李贤。据说李贤十世先祖名叫俟地归，是鲜卑族的一个小头领，又名李发。孝文帝改革的时候，这个家族重新恢复了自己的汉姓''李''。
