在《拾遗记》中有关于潘夫人的描述，更加美艳动人。其中评价潘夫人为"江东绝色"。当时一起被幽囚的还有一百多人，都称呼潘夫人为"神女"，对她十分尊敬。有人把潘夫人的美貌告诉孙权，孙权令人将潘夫人画下来。
当时潘夫人的情况是愁眉不展，身体消瘦。孙权一看潘夫人的样貌是大喜过望，连如意都折断了，感叹说："这真是神女啊。愁容尚且这样漂亮，何况是在喜态呢？"于是孙权赶紧用华车接潘夫人入宫，对她非常宠爱。
有一次孙权和潘夫人游台，潘夫人非常高兴，喝醉之后吐到玉唾壶里。结果侍女倒玉唾壶的时候，却从里面倒出一只红宝石戒指，挂在石榴枝上。于是孙权在这里筑台，叫做"环榴台"。有人说"环榴台"有将天下"还刘"之意，于是孙权改名为"榴环台"。
又有一次孙权和潘夫人钓鱼，钓出一条大鱼。孙权非常高兴，但是潘夫人却很忧虑，想起龙阳君泣鱼的故事（龙阳君与魏王钓鱼，龙阳君以鱼自比，担心魏王钓到更大的"鱼"而嫌弃自己）。果然不久后潘夫人也失宠了。当时人都评价潘夫人有见微知著的能力。
余论
