后来，潘美与刘遇等将领率领军队征伐南唐，在南唐都城金陵(今江苏南京)，将南唐的水军、陆军共十万人打得大败。平定南唐后，因为战功潘美被封为宣徽北院使。
让潘美背负奸臣之名，要从杨家将的杨业说起。杨业原来追随的是北汉世祖刘崇，宋太宗灭北汉后，收降了杨业，任命他为右领军卫大将军。杨业在雁门关大破辽军，威震契丹。
公元986年，宋太宗决定再伐辽国，收复燕云十六州，任命潘美为云、应路行营都部署、西路军主将，杨业为副主将，西上阁门使、蔚州刺史王侁任云、应州兵马都监。王侁对杨业这个外来的降将非常有偏见。
在两军对垒时，杨业和王侁两人对进攻战略发生冲突，王侁邀功心切想硬攻，杨业注意到辽军势力很大，建议不能强攻。王侁坚决不同意，以言语刺激杨业贪生怕死，逼副帅杨业进军，杨业无奈服从。
潘美也认为此战不妥，劝阻过王侁，无奈监军王侁不听。不过，他答应在陈家谷口设伏兵接应杨业，但等到中午也没见杨业的人影，王侁以为杨业乘胜追击辽兵去了，就命令撤退，这也导致杨业最终被俘，绝食而亡。后来皇帝流放了王侁，给潘美连降三级。因此，老百姓将潘美描绘成无耻小人，历朝历代都痛骂，潘美的后代没法做人，无奈将潘姓改成了冯姓。
