宋太祖赵匡胤死后，他的弟弟宋太宗赵光义继位，潘美继续在朝中任大将。这之后，发生了一个意外，让潘美的形象滑坡，甚至被民间传说污蔑成大奸臣。这是怎么回事呢？原来，当时宋太宗赵光义决定攻打辽国，收复失地，潘美就又派上了战场。
他和另一个大将杨业一起，随监军王侁领兵北伐。王侁这个人，打仗的本事没几两，嫉妒人讽刺人的本事倒是无师自通，当时杨业经过分析后，认为辽军正士气旺盛，不能硬碰硬，应该暂时避一下锋芒，等待机会再出战。
但是，王侁听不进去，而且他又看不起杨业，因为杨业是北汉的降将，不是宋朝的"本土将军"。王侁邀功心切，主张立即开战。杨业被逼无奈，只好上了战场。临行前，他找到潘美做了一番部署，让潘美在陈家谷口预先埋伏，如果战败，辽军追到这里，可以配合杀退他们。
后来果然如杨业所料，王侁和杨业被辽军打败，王侁先跑了，跑到陈家谷口，逼着潘美也一起撤退。潘美被逼无奈，只好同他一起走了，杨业被辽军追杀到陈家谷口，发现一个援军也没有，仰天长叹。最后，杨业奋力作战，身受重伤被俘，绝食三天，不降而死。
