然而，潘美撤走并不是他的决定，而是王侁的要求。当时王侁从前线逃跑到潘美这里，认为此地辽军一定会攻打，便要求潘美撤军。潘美向王侁说完杨业的计划之后，王侁仍旧要求潘美撤军，潘美没办法只能撤军。后来杨业战死，全国哗然，皇帝震怒，王侁和潘美都遭到严厉的惩罚。然而最终承担骂名的，却是责任最小的潘美，就连他的后代也因此受到牵连，被迫改姓。
潘美对于杨业的死当然是有责任的，他不敢坚持自己的意见，违背了与杨业的约定，但他却从来没有想过要害死杨业。然而因为世人的憎恨，百姓们认为他是一个大奸臣，便在戏曲中将他描写成奸佞小人。就这样，身为宋朝开国功臣的潘美，最终却沦为万世唾骂的奸臣，实在令人唏嘘。
