但是李夫人的一生是短暂的，她病重过后，汉武帝曾亲自前去探望，但是李夫人始终不肯见面，最后汉武帝选择了离开。
当时很多人都不理解李夫人的做法，但是李夫人的回答让所有人恍然大悟，李夫人知道自己出身贫寒，能够得到汉武帝宠幸，完全是因为自己的容貌。如今自己容貌已毁，汉武帝肯定会抛弃自己。
后来直到李夫人去世，汉武帝都未能见得一面。也正因为如此，在汉武帝眼中，李夫人始终还是那个倾国倾城的绝世佳人。
李夫人去世后，汉武帝对她特别思念，于是让人画了画像挂在甘泉宫中。有个占卜的方式自称能够招魂，武帝下令让其招回李夫人的魂魄跟自己相会。
