然而不幸的是雍熙三年，宋太宗命令诸将北伐，潘美一路攻克了燕云十六州中的四州，但曹彬却遭遇了出师不利，各路军马都被撤回，不久朝廷下诏要将四个州的百姓迁徙到内地，命令潘美的军队保护百姓，但当时辽国的军队已经攻陷了寰州，潘美手下的副将杨业认为现在不宜与辽军正面交战，但监军王侁却认为应该积极应战，最后王侁逼迫杨业率军迎战，潘美与王侁则在陈家谷口布阵，之后王侁没等到杨业的军队，就率兵离开谷口，而当时监军的权力非常大，潘美也不能控制他，只能沿着交河向西南行军二十里，不久杨业全军覆没，潘美立即带兵后退。
而也就是因为这次战败，世人就将潘美这个立下赫赫战功的开国将军，写成了通敌卖国、残害杨家将的潘仁美，而他也被世人骂了千年。
