这句话挑动了赵匡胤的神经，当时范质、赵普、潘美等人都随侍赵匡胤左右，赵匡胤回头询问对他们，赵普说：”去之“。
潘美与其他人却不说话，赵匡胤于是又问潘美，潘美还是闭口不言。赵匡胤说：“即人之位，杀人之子，朕不忍为也。”。
此时，潘美才开口，道：”臣与陛下曾都是周世宗的臣子，劝说陛下杀掉这个孩子，则辜负了周世宗，劝说陛下不杀，陛下必定对我生疑，所以不敢回答”。
赵匡胤干脆就顺水推舟，让潘美把孩子带回家，“其后太祖亦不问，美亦不复言。”大家权当没这回事。
第二个版本来源于北宋学者王铚在《默记》中的记载，与第一个版本大同小异。
赵匡胤称帝之后，周恭帝被安顿在了天清寺中居住。有一天赵匡胤前去探望，发现有两个宫女分别抱着男婴跪在旁边，一问才知道，他们俩正是郭荣的两个小儿子。
赵匡胤回头对部将说：“此复何待？”意思是还留着他们干什么，潜台词就是把他们咔嚓了。
左右侍卫就将两个孩子提走，赵匡胤看见潘美在用手掐着宫殿的柱子，低头不语。赵匡胤便问：“汝以为不可耶？”
潘美回答：“于理未安。”
赵匡胤于是命令将两人追回，将其中一人赐予潘美，据说是纪王柴熙谨。潘美将他收养为儿子，赵匡胤此后也不再过问，此人就是潘惟吉，潘惟吉的后裔与潘美的子孙使用不同的字辈。
