至正十九年（1359年），朱元璋派大将军常遇春进兵攻取衢州。常遇春率领三军到达衢州城下，但见城垣壁垒森严，固若金汤。双方交战激烈，常遇春久攻不克。之后常遇春以奇兵出其不意地突入，毁元军火炮，攻围甚急。元军支持不住，遣使投降。至正二十年（1360年），常遇春与徐达率重兵镇守池州。陈友谅率兵袭取池州。徐达令常遇春率精兵万人设伏。陈友谅兵至，全力猛攻池州城，徐达率领守军开城出击，常遇春伏兵掩其后，大破陈友谅军，斩首万余，擒捉三千，陈友谅败走江州（今九江）。
至正二十年（1360年）五月，陈友谅率水军数十万直取应天，在龙湾与朱元璋军展开决战。朱元璋以弱御强，便设计用伏，诱敌深入，常遇春奉命与冯国胜率军三万人设伏。在龙湾登陆的陈友谅军，遭到常遇春、冯国胜伏兵的冲杀，死伤惨重，溃不成军。陈友谅一百多艘巨舰全部搁浅，朱元璋挥水陆军并进，陈友谅大败而逃。常遇春大破敌阵，战功卓著，升任行省参知政事。
至正二十三年（1363年），陈友谅六十万大军与朱元璋军在鄱阳湖展开大决战。陈友谅军船大、坚固，但速度慢，朱元璋军船小、速度快，操作灵活，两军相持，难解难分。朱元璋座船搁浅，陈友谅的大将张定边率船队来围攻，情况危急。常遇春奋勇当先，射伤张定边，又用自己的战船撞击朱元璋的座船，使其脱离浅滩。战斗中常遇春奉命积极组织火攻，发挥小船优势，乘风纵火，陈友谅的舰队被烧得烈焰冲天，兵将损失过半。陈友谅率残舰撤往湖口，又受到朱元璋军的追击和常遇春的堵截。陈友谅在混战中被流矢射中死去。此战，常遇春功劳最大，升为平章政事。
至正二十四年（1364年），常遇春随徐达率军攻占庐州。接着，又与邓愈会合收复江西等郡县，岭南等地望风降附。至正二十五年（1365年）五月，常遇春与邓愈率军攻取湖北的安陆、襄阳；十一月与徐达率军攻占了泰州。至正二十六年（1366年）八月，朱元璋以徐达为大将军，常遇春为副将军，率兵二十万东征张士诚。徐达、常遇春的军队先攻取了湖州和杭州，平江（今苏州）孤立无援，经过长达十个月的围攻，平江城破，张士诚败死。常遇春以功进封为鄂国公。
至正二十七年（1367年）十月，朱元璋以徐达为征虏大将军，常遇春为副将军，率二十五万大军出师北伐。徐达、常遇春出师三个多月，即平定山东。洪武元年四月，明军在洛阳的塔儿湾与元军遭遇，常遇春单骑突入敌阵，麾下壮士从之，勇猛冲杀，在洛水之北击溃元军五万，俘获无算，史称塔儿湾大捷。这一仗，占领了河南和潼关。洪武元年（1368年）闰七月，徐达、常遇春率马步舟师由临清沿运河北上，连下德州、通州。元顺帝携后妃、太子等逃奔上都开平（在今内蒙古正蓝旗）。八月二日，徐达、常遇春一举攻占大都，改为北平府，元朝灭亡。
