然而战事当天，潘美与王侁在陈家谷埋伏了很久，还是没有看到杨业的影子，固执的王侁认为杨业一定是打败了辽军，乘胜追击走远了，就将陈家谷的伏兵陆续撤走。潘美虽然心怀疑虑，但他也没有提出异议，任由王侁撤走了军队。
实际上杨业并没能战胜辽军，被迫退回陈家谷。此时的陈家谷已经空无一人，孤军奋战的杨业被数倍于己的辽军包围，最终力战而竭，被辽军生擒。杨业不愿为俘，在悲愤中绝食三天，壮烈殉国。
杨业的死讯很快传到了京师，赵光义听到后愤怒异常，他将潘美连降三级，贬为检校太保，后来又发配并州当通判。在战败后不到两年的时间，潘美就去世了。那个追名逐利的监军王侁也被除名，发配金州任职，落得个一场空。
潘美一生南征北战，为大宋立下功劳无数，可是，就因为晚年的一场败仗，不仅成了间接害死杨业的"凶手"，最终还死在了贬谪的职位上，晚年凄凉，让人为之惋惜。
有人认为这是赵光义剪除老将们的手段，潘美是开国功臣，又跟赵匡胤感情深厚。而赵光义得位不正，怕他反对自己，便趁机削去了他的兵权。
