宋太祖病死后，契丹辽国不断侵扰宋朝边境，宋太宗命潘美为知幽州行府事，抵御辽国。潘美率军扼守住辽中的咽喉固军，击败辽国数次来犯的骑兵。 宋太宗以潘美之公，封其为忠武军节度使、韩国公。
雍熙三年，宋太祖命潘美、曹彬、崔彦率军北伐，以杨业为潘美副将。 宋朝北伐初期势如破竹，主帅曹彬产生了轻敌心理，率主力孤军深入，结果被辽军杀得大败，宋太宗忙令宋军撤退。 杨业建议潘美派兵，吸引住辽兵主力，然后派精兵埋伏在撤退的路上，掩护军民撤退。但是监军王诜反对这个计划，要杨业从雁门大路出击。宋朝监军权力很大，潘美只得同 意王诜的意见。杨业临别时，要求潘美在陈家峪口埋伏步兵和弓弩手，等杨业部撤退到此地时，带兵接应，与杨业两面夹击，可以反败为胜。
潘美按照杨业的计划在陈家峪设伏准备接应，但王诜怕杨业抢功，不断催促潘美撤退。等杨把辽军引向陈家峪时，一个宋军的影子也没有。杨业终因寡不敌众，兵败被俘，壮烈殉国。 宋太宗事后将王诜革职查办，将潘美连降三级，潘美此后被闲置起来。淳化二年，潘美去世了，享年67岁。宋太宗追赠其为中书令，谥"武惠"。
陈家谷一战是潘美一生的转折点，元代脱脱编撰的《宋史·杨业传》中说："（杨业）将行，泣谓美曰：此行必不利。望以步兵夹击救之；美俄闻业败，即麾兵却走。业为契丹所擒，乃不食，三日死"。正是这段记载拉开了潘美被黑的大幕。
