此后，常遇春一直跟随朱元璋四处征战，在短短几年之内就成长为一员出色的战将。在屡次战斗中，常遇春都是一马当先，所向无敌。因此，他深得朱元璋的器重，很快被朱元璋提拔为副将军，加封鄂国公。并受命和大将军徐达，率军北伐蒙元。
常遇春协同徐达一同北上，一路势如破竹，元军望风逃窜。1368年，常遇春率军在洛水之滨，与元朝大将阿鲁温相遇。常遇春身先士卒，单骑入敌阵，大败元军。接着，又率军攻入元朝中心大都，推翻了蒙元的统治。
元朝政权被推翻以后，蒙古残余势力依旧存在。为了稳固新建立的明朝，常遇春和徐达顾不上长期征战的疲劳，领军继续追击。就在常遇春凯旋归来之时，不幸深染重病，暴毙于柳河川，年仅40岁。
关于常遇春的死因的说法有很多，最常见的就是死于"卸甲风"。据说这是因为武将们剧烈体力消耗后，太过着急脱掉盔甲散热，中医的说法是"风邪"入体，估计跟体温变化太快导致的中风类疾病有关，也有可能是运动后猝死。
