而杨业曾向潘美交代："我们大宋的将士个个都是不惧怕死亡的，但是作为主将，还是要为他们的生死负责，所以希望在我攻打辽军的时候，你们可以在它处设防，让我们的军队损失降到最低"。
潘美听后点点头答应了，结果不出所料，战役没打多久宋军就败下阵来了，此时王侁决定撤兵，而陈家古是杨业撤退的必经之路，本来设有宋军埋伏，却也被王侁给撤走了。当时潘美是坚决不同意这样去做的，但是拗不过上级王侁的指令（官大一级压死人），最后不得已而撤兵。
后来杨业带领军队全军覆灭，自己也被辽军生擒了，但杨业却宁死不降以此表现对大宋朝的忠心，最后绝食而死。
回到朝中，面对这样的惨败，宋太宗暴跳如雷，对王侁进行了流放，将潘美连降三级。后来这个历史事件被一传再传以讹传讹，被民间编成了戏曲化的潘仁美害杨家将的故事。
纵观整个事情发生的经过，我们可以看到潘美真的是很冤枉，他是坚决要去救杨业的，只是自己不是决策的主导者，王侁一意孤行，潘美也没办法，最后才使得宋军惨败，杨业被擒。
被妖魔黑化千年的潘美，成为了无耻奸臣小人，如今仍被骂，这也让他的后代遭受了牵连，为了避难后人索性将潘姓改成了冯姓，并且不敢提及先祖的名字和事迹，真是太悲哀了。
