晚年的潘阆在各地游览河山，大中祥符二年（1009年），潘阆病逝于泗上官舍，好道友冯德之将其迁葬在杭州。杭州城有"潘阆巷"，纪念这位传奇人物。
潘阆和名士柳开是好朋友，柳开这个人任性负气，常常遭到潘阆的嘲弄。
端拱年间（988年-989年），柳开出任全州知州，路过潘阆的家乡扬州。
潘阆得知消息，前往迎接，两人来到了一家驿站官舍，发现有一个房间门窗紧闭，显得非常诡秘。
驿吏解释说："这十几年里，凡是住在这个房间的客官都感觉不安宁，因此这个房间就一直空着。"
潘阆暗自思量：咋会有不畏鬼神的人呢？随即声称有事，告辞而去。
潘阆出门后，找到那个驿吏说："柳先生是我的老相识，常常说大话炫耀自己，我今日要戏弄他一番，你到了夜里不要害怕啊！"
当日夜间，潘阆将身体涂满墨汁，穿上豹纹短裤，弄来野兽的牙齿装饰在嘴里，披头散发，手持巨大的铁锤，从外面的围墙爬上屋顶。
当天夜间，月朗星稀，身上的毛发清晰可见。柳开正手持一把剑走上台阶，潘阆在屋顶上发出呜呜哇哇古怪的声音。
柳开看着屋顶的"鬼怪"，大为惊骇。
潘阆再次呵斥他，柳开哆哆嗦嗦说："我这是借道本地，路过此馆暂时歇息，不想冒犯您，请不要伤害我啊！"
潘阆变声，说出了柳开种种不法行为，而后厉声呵斥道："阴司早就掌握了你种种恶行，特派我带着符节来抓捕你，赶紧跟我走吧！"
柳开面色惨白，跪下叩首，说："您说的这些事儿确实存在，可是我还没有处理完公事，也没和家人道别，请您宽限几天，我一定会厚报您的！"
说完了话，柳开再拜，继而泪流满面。潘阆问："你认不认识我啊？"柳开说："我一个凡间小人物，咋会认识您这种神圣人物呢？"潘阆大笑，恢复原声说："我就是潘阆啊！"
柳开忽然站起来，顿时羞愧万分，继而恼羞成怒，呵斥潘阆，让他从房顶下来。
潘阆知道柳开脾气不好，他当然不敢下来，于是从围墙上跳出门外逃走了，柳开羞愤不已，这地方没法儿待下去了，当日连夜乘船离开了扬州。
