三朝元老、北周开国勋臣李贤自称,其祖先是西汉时期的著名将领、官封骑都尉的李陵(字少卿)后人,祖籍为陇西古成纪(今甘肃天水境内)。李陵的先祖是战国时代秦国将领,祖父是西汉前期抗匈英雄"飞将军"李广。叔祖父李蔡是汉文帝近卫武骑常侍。李广有三子:李当户、李椒、李敢,均为将侯高官。
李陵是当户的遗腹子。李广殉职后,李陵以长孙身份继承遗职,也成长为一名战将。在汉武帝组织汉军抗击匈奴的一次战斗中,李陵孤军深入,身陷重围,在血战九昼夜之后,因粮尽矢绝,寡不敌众,被迫投降匈奴,从此与子孙们都在北方少数民族的汗国中为官。到五胡十六国和南北朝间,北方鲜卑族拓跋部日益强大起来,并完成了统一北中国的历史任务。
晋武帝太元十一年(386年),鲜卑部首领拓跋硅建立了北方大一统政权,史称"北魏"。李陵的后人李富、李斌父子,都是拓跋魏的开国功臣。后来,李富在西征的一次作战中战死,被魏太武帝拓跋熹追封为宁西将军、陇西郡守荣誉衔。李富的儿子李斌承袭父职,继续领兵西征。
陇右平定以后,北魏政权在原安定郡高平县设置军政合一的地方最高管理机构高平镇(今宁夏固原原州),李斌被任命为高平镇将,于是李贤家族从祖父时起,便落籍高平。李贤的父亲李文保,因早逝没有建功立业,后被追赠为泾、原、秦三州刺史、司空等荣誉衔。