《史记》与《汉书》都详略不同地记载了方士李少翁为汉武帝招李夫人魂的事。据东晋王嘉《拾遗记》：招魂时是用色青质轻的"潜英之石"，将李夫人的画像设在纱帐里，在灯烛下投影于"帐帷"之上。这是后代皮影戏的由来。白居易诗《李夫人》云："伤心不独汉武帝，自古及今皆若斯。君不见穆王三日哭，重璧台前伤盛姬。又不见泰陵一掬泪，马嵬坡下念贵妃。纵令妍姿艳质化为土，此恨长在无销期。"但那种"遗世而独立"的凄清，千古之下只李夫人一人而已，远非杨贵妃的艳俗可比。
李夫人出身于倡家，即从事音乐歌舞的乐人，李延年是李夫人的哥哥，因犯法而被处腐刑，在宫中从事养狗的工作。后因善歌受到皇帝喜爱。汉书记载：李延年有一次在武帝酒宴前献歌道："北方有佳人，绝世而独立，一顾倾人城，再顾倾人国。宁不知倾城与倾国，佳人难再得。"汉武帝听了后叹息说："好歌！但世上真有这样的绝色佳人吗？"平阳公主告诉他说，李延年的妹妹就是这样一位佳人。于是武帝便召见延年的妹妹，果真"妙丽善舞"，李氏被武帝立为夫人。
