北宋学者王铚在《默记》中记载，赵匡胤称帝之后，周恭帝被安顿在了天清寺中居住。有一天赵匡胤前去探望，却发现有两个宫女分别抱着男婴跪在旁边，后来从知道，他们俩正是柴荣的两个小儿子。随后"艺祖顾诸将云：'此复何待'？"艺祖指的就是宋太祖赵匡胤，这句话的意思是"还留着他们干什么？"随即命侍卫将他们"提去"。赵匡胤在下命令的同时，发现大将潘美低头不语，便问他："汝以为不可耶？"潘美回答说"于理未安"。于是，赵匡胤将两个孩子之一送给潘美收养。这个孩子后来改名为潘惟吉，他曾被宋真宗派往辽国给辽圣宗祝寿，在途中病逝。
版本二
北宋王巩在《随手杂录》中记载，赵匡胤曾经向百官询问，该如何处置周恭帝的几个弟弟，赵普的意思是"去之"，赵匡胤再三追问潘美的意思，潘美都闭口不言。于是，赵匡胤说："即人之位，杀人之子，朕不忍为也。"此时，潘美才开口说道："我曾侍奉周世宗，若建议陛下除掉这几个婴儿，便是有负于世宗；若劝陛下留下他们，便是不忠于陛下。"赵匡胤命潘美将这两名襁褓中的婴儿带回家，"其后太祖亦不问，美亦不复言。"
虽然柴宗训被封为郑王，他的儿子柴永崎被封为郑国公，但是柴荣嫡系只有传了这两代就断了。据后世学者考证，柴荣的后裔应该只有潘惟吉一脉，并且繁衍至今。
