雍熙三年，太宗决定北伐契丹，当时契丹辽景宗离世不久，圣宗又尚且年幼，由萧太后执政，朝中大臣均认为这个时候攻打是最好的时机，于是太宗分三队人马去北伐，东路由曹彬带领，主力军北上，牵制对方兵力，中路由田重率领，西路由潘美、杨业领兵，中路，西路捷报频传，东路作为主力军却没什么战果，曹彬等人开始急躁起来，导致战事失败，主力军失败，为保存中路，西路的剩余兵力，太宗下令撤退，中路很顺利的撤退了，但是西路这边却出了问题。
原来杨业认为此时应先让百姓撤退，军队再撤，然后再守住险要山谷断后，但是王侁极力反对，潘美作为主帅，也认为杨业的方法不可行，这个时候王侁又开始说风凉话，杨业一气之下决定出战，并让潘美在陈家谷接应，潘美与辽军兵力悬殊，战败，杨业一直都在等着援军到来，谁知却一直没等到，这场战役后 杨业被俘，其手下将领伤亡惨重。
原来，王侁认为杨业肯定会取胜，于是早早的就从陈家谷撤兵，而潘美没有阻拦，王侁撤退后，潘美也撤退了，后来他们才得到杨业被俘的消息可惜为时已晚，杨业被俘后，坚决不投降，竟然绝食而死，太宗得知此事后，大怒，将潘美连降三级。
正是因为这件事，朝中对他的看法大为改观，有很多人也在私下议论他，后来杨家将的英雄事迹开始传播开来，而潘美也渐渐的演变成了其中的大反派，潘美作为北宋名将，在晚年时期没有看清形势，制定好策略，导致杨业死亡，自己的身上也多了个无法清除的污点，最关键的是，这个污点越来越大，让他成了后世眼中的奸臣。
