北宋王铚的《默记》和王巩的《随手杂录》都有相关的记载，即赵匡胤称帝之后巡视后周后宫，发现竟然有宫女怀抱着两个婴儿。赵匡胤得知这两个孩子的身世之后问身边的大臣应该怎么办，大臣们都认为这两个孩子不应该留在世上，只有潘美回答说"于理未安"。所以，赵匡胤便把他们交给潘美收养，"其后太祖亦不问，美亦不复言。"
再来看柴荣的后世子孙
赵匡胤善待柴氏后人的规定据说是刻在了"太祖誓碑"中，但是此时是存疑的，赵宋王朝善待柴氏后人之事也是存疑的。
柴宗训在二十岁去世之后，他的儿子柴永崎便被将封为郑国公，从此世世因袭，但是宋仁宗时期，柴宗训的嫡系血脉便断绝了，仁宗便在柴家找了辈分最大的一个来继承爵位（仁宗嘉祐四年，诏有司取柴氏谱系，于诸房中推最长一人，令岁时奉周祀）。
再后来，便是南宋了--宋高宗赵构又在绍兴五年（公元1135年）找出了柴氏后人柴叔夏，任命他我右承奉郎，袭封崇义公。
可见，宋朝善待柴家后人只是一个面子工程，柴荣嫡系仅仅繁衍了两代人便断绝了，而后世子孙则仅有一个虚职。但是比起之前的朝代来说，赵氏算是很厚道了，尤其是到了南宋还能记得柴家就更是难得了。
