开宝八年秋（公元975年），作为党进的副手再次攻伐北汉，"战于汾上，破之，且多擒获"，眼看破城在即，此时后方却传来"烛光斧影"；
宋太宗太平兴国年间，随着北汉的平灭，潘美任太原留守，扼守大宋北疆，屡破辽兵。"（太平兴国）八年，改忠武军节度，进封韩国公"。
雍熙三年（公元986年），宋太宗再议北伐，改变潘美命运的一战到来。作为西路军主帅的他先胜后败，尤其是两狼山陈家谷，由于监军王侁和刘文裕的坚持，本该作为援军接应的潘美失期，导致军中之胆杨业失利被俘--此举不仅损兵折将，更是军心全失--见死不救、抛弃战友会有什么样的后果，作为文官的监军王侁可能不懂，但是潘美懂，所以他知道自己完了，他的半生功业、他的军中威望，全完了。以后即使手执尚方宝剑，军中也没人再听他指挥了！
回到开封，心知肚明的赵光义原谅了曹彬和他们一众人，对他的惩戒也仅仅是略降官衔而已（坐削秩三等，责授检校太保）。
一年之后，虽然和曹彬等北伐诸将一样，赵光义又对其恢复名誉（明年，复检校太师。知真定府，未几，改都部署、判并州。加同平章事），但是，半生戎马、视荣誉如生命的潘美却不能原谅自己，几个月后就病死并州（今山西太原、大同一带），年六十七岁。
