开宝七年(974年)，宋太祖决定向南唐进兵。南唐建都金陵(今南京)，占有现在的江苏、安徽淮河以南和福建、江西、湖南、湖北东部，南唐国主就是有名的李煜。李煜自知不是宋朝的对手，所以一直向宋朝纳贡。后来，李煜自动取消了南唐国号，改称江南国主，企图维持他的统治地位，但宋太祖还是决定要除掉他。九月，宋太祖命令潘美、曹彬等率十万大军兵出荆南。临行前，宋太祖对他们说："攻破金陵城的时候，千万不可滥杀无辜。尤其是李煜一家，要设法让他归降，不可加害。"
潘美与刘遇等率兵先到江陵(今湖北荆州)。十月，任命潘美为升州道行营都监，与大将曹彬一同到达秦淮。当时，因为船只还没有准备好，潘美就下令说："我受皇上的命令，带领数万兵马征讨南唐，一定要取得胜利，怎么能因为河水阻挡而停止前进呢？"于是，他身先士卒，涉水而进，大军也跟着他抢渡秦淮河，南唐军大败。潘美指挥宋军在采石矶架设浮桥，南唐兵用二十多艘战船来阻击。潘美指挥部队奋勇出击，夺得南唐兵的战船，并俘获郑宾等七名将领，随后攻破了城南水寨，分兵把守。这天夜晚，南唐兵偷袭水营，由于潘美早有准备，南唐兵未能成功。
第二年夏天到秋天，宋军连连获胜，潘美、曹彬等人率大军兵临金陵城下，连续几次把南唐军打得大败。李煜非常着急，于十月、十一月两次派徐铉到开封请求延缓进占金陵的时间，宋太祖没有答应，仍诏令诸将促令李煜归附。李煜没有办法，连夜派部队数千人，手持火把来攻潘美的军队。潘美率精锐军队与敌军短兵相接，又与大将军曹彬率领军队在黎明时分攻城，一举攻克了金陵。金陵平定后，潘美被封为宣徽北院使。
宋太祖用了13年时间，消灭了南方五国，接着就出兵攻打北汉都城太原。由于北汉有辽国的援助，北伐没有成功。不久，宋太祖病死，他的弟弟赵匡义继承皇位，这就是宋太宗。
