赵匡胤虽然建立了宋朝，但天下并不太平。北方有契丹建立的辽国和盘踞太原的北汉国，南方有南唐、吴越、后蜀、南汉等国，湖南还有人拥兵自立。所以赵匡胤统一天下的任务十分艰巨。当时，陕州军帅袁彦拥兵自重，信任奸佞小人，滥杀无辜，赵匡胤担心他叛乱，就派遣潘美去担任监军，以消除隐患。潘美单骑独马到了陕州，向袁彦等人晓以大义，陈述利害。袁彦被潘美的真诚所打动，于是跟着潘美到了京城，以示效忠。赵匡胤非常高兴，说："潘美不杀袁彦，能让他来觐见，正合我的心意啊。"
建隆元年(960年)九月，郭威的外甥李重进在扬州叛乱，并打出了"驱逐赵贼，回复周室"的旗号。宋太祖赵匡胤率部亲征，命大将石守信为招讨使，潘美为行营都监。叛乱平定后，潘美被留在扬州，任巡检，后又任镇抚、秦州团练使。当时，湖南的叛将汪端被平定后，人心不稳，赵匡胤又任命潘美为潭州防御使。
南汉国建都广州，国主叫刘魫，十分荒淫残暴，百姓对他恨之入骨。南汉几次进犯桂阳、江华，都被潘美打败。武陵山一带的夷落(少数民族)自唐代以来，经常闹乱，潘美带兵征剿，终于稳定了这一地区的局势。乾德二年(964年)，潘美又与丁德裕率军攻克了郴州。
开宝三年(970年)，宋太祖又命潘美征讨南汉。宋军很快攻克了富川(今广西富川)，刘魫急忙派一万多人来援，被潘美军打得大败，随即又攻占了贺州。十月，潘美的部队又连续攻占了昭、桂、连三州，西江诸州都纷纷投降。潘美因为连战连胜，宋太祖提升他为南面都部署，率军进逼韶州(辖境相当于今广东韶关市以及周围八县，治所在曲江，即韶关市曲江区)。
韶州是广州北面的重要门户，南汉国在这里驻扎着十多万人马。潘美指挥部队进攻韶州，斩杀数万南汉军，占领了韶州。刘魫没有办法，于第二年二月派人请降，实际上是想拖延时间，负隅顽抗。潘美根据赵匡胤的旨意，没有答应刘魫。刘魫就派他的弟弟刘保兴率兵抵抗，潘美率大军长驱直入，距广州只有120里了。南汉军15万人靠山谷布阵，准备抵抗。潘美与诸将商量说："南汉军以竹木为屏障，如果用火攻，对方必定溃乱。然后再以精锐部队夹击，此为万全之策。"于是，分别派遣数千人，手持火炬，等到夜间，万炬齐发。正赶上刮起了大风，火借风势，剧烈地燃烧起来。南汉军惊慌失措，慌忙应战，潘美指挥大军发起攻击，南汉军大败，损失数万军士。潘美指挥大军逼近广州，兵临城下，刘魫没有办法，放火烧了府库和宫殿，出城投降。潘美派人将刘魫押送到东京(今河南开封)，然后发布文告，安抚百姓。五月，宋太祖任命潘美为山南东道节度使，第二年又兼任了岭南道转运使。土豪周思琼聚众负海为乱，潘美率兵征讨，平定了叛乱。自此，岭南局势稳定下来。
