潘美之所以形象崩塌，是因为许多人认为是他害死了忠心耿耿的杨业。杨业是后世家喻户晓的杨家将之一，也是大宋百姓心目中的战神。许多人都知道杨家将的威名，却不知道杨家将其实并非宋朝本将，而是北汉降军。投降宋朝之后，杨家将忠心耿耿，多少人为国捐躯，百姓们为之敬佩，但在朝廷上，杨家将却仍是外人，包括杨业。在朝廷里，许多人都看不起杨业，经常排挤打压他，哪怕是在战场上也不信任他。
在与辽国作战时，杨业被派上前线。杨业是一个很有才智的人，来到前线之后，他立刻勘察敌军情况，之后他得出结论：辽军实力强大，人数众多，宋军不能轻举妄动，要等待时机。杨业的分析是非常正确的，但奈何将领王侁却听不进去，他邀功心切，迫切的想与辽军决战，从而建立功勋。加上王侁一直不信任杨业，他认为杨业是北汉降将，此时所谓避战正是他畏战的表现。因此王侁命令大军主动出击，与辽军决战。
杨业知道王侁的计划是行不通的，宋军从正面强攻必败无疑，但他却只能听从王侁的命令，率军出击。不过杨业也没有坐以待毙，他找到潘美，让他率军在陈家谷口这个战略要地埋伏，到时候接应失败的宋军，说不定还可以打辽军一个措手不及。潘美听完觉得杨业的顾虑非常有道理，因此他听从杨业建议，在谷口设伏。
事情的发展果然如同杨业预计的那样，主动出击的宋军很快便被强大的辽军打败，而当初一意孤行的王侁此刻却撤的比谁都快。杨业率军与辽军死战，杀死了许多敌军，但最终仍不敌失败，不断撤退。如果事情按照杨业计划的那样，他和他的部队得到潘美接应后可能都不会死，但当他撤到陈家谷口之后，却发现潘美根本就没有在这里接应自己。最终杨业寡不敌众，生擒之后以死明志。潘美也因此被认为是害死杨业的奸臣，被后世唾骂。
