在前去投奔朱元璋的时候，朱元璋听说他以前是一个强盗，表现得很是不屑：“你来我这里，只是为了混口饭吃吧？”常遇春回答说：“我之所以前来投奔您，是因为您有远大的志向，并且拥有杰出的智慧，所以来到您的麾下，听从您的号令，心甘情愿为您赴死。”
常遇春一番话说得朱元璋很是开心，又见他身材高大，便让他与士兵们比试了一下力气与武功，无论哪一方面常遇春都轻松获胜，于是他被朱元璋任命为先锋。在至正十五年（1355年），朱元璋率领大军与元朝水军在采石矶展开大战，朱元璋的军队被团团困住，眼看就要落败。
这个时候是常遇春大喝一声，乘着一只小船冒着敌人的箭雨前进，一路上如入无人之境，所有遭遇到的对手全都被他打翻，以一人之力让元军的士气崩溃，于是朱元璋取得大胜，常遇春因此而被升为元帅，成为朱元璋麾下彻彻底底的心腹将领。
后来常遇春又帮助朱元璋攻破陈友谅、张士诚、元朝等等强大的对手，在洪武二年（1369年）从原本元朝的“北都”开平南归，途中忽然染病去世，年仅四十岁。
朱元璋听到消息以后极为悲伤，写下了一首“朕有千行生铁汁，平生不为儿女泣。忽闻昨日常公薨，泪洒乾坤草木湿”的诗来怀念他，下令给常遇春的遗体穿上龙袍后再入土，并且让宫廷画师画了常遇春身着龙袍的画像收藏在宫殿之中，以此稍解思念之情。
