这次会面过程远不算精彩，却拉开了君臣知遇的帷幕。常遇春没让朱元璋等待多久，马上就在衢州之战中大放异彩。当时，他统领三军将衢州围住，对手伯颜不花的斤也是一时名将。常遇春使用了吕公车、仙人桥、长木梯、懒龙爪等器械，伯颜不花则见招拆招，顽强守住了六扇城门。
关键时刻，常遇春冷静下来，想起朱元璋在临行之前传授他谋略为上的教导。他没有再靠蛮力，并不打算以人头换取城池，反而出奇制胜，派人偷袭城中的炮台，再进行猛攻。这样一来，元军军心大乱，被迫举城投降。
在常遇春的生涯中，最具传奇色彩的无疑是采石矶之战。采石是扼据大江要冲，地势险要，自古为兵家必争之地。北宋之所以灭南唐，就是曹彬以浮桥攻克采石；南宋之所以能抵抗金军，就是虞允文打赢了采石防御战，所以采石矶之战的成败，关系到朱元璋功业能否开创。
这一战的开始并不顺利，元军深知采石的重要，也吸取了历次战役的经验教训，做好了相对充分的准备。江面宽阔，朱元璋的水军一时无法渡过，还是常遇春以先锋的姿态，小船渡江，先行登岸。随后，他如同天神下凡一般，左突右冲，如入无人之境，南岸的元军不能抵挡，这也为大部队登岸争取了时间。此战因为常遇春的精彩表现，朱元璋以极小的代价取胜，顺势攻下太平、集庆，赢得了发展的空间和根据地，常遇春马上被升为元帅。
此后，常遇春更受到朱元璋的器重，他也以更为亮眼的表现赢得了所有名将梦寐以求的一切。在与陈友谅决战的鄱阳湖，常遇春一箭命中对方第一猛将张定边，终结了为期三十六天的水战。在攻打苏州时，他与徐达通力配合，全歼张士诚的部队。在北伐的过程中，他继续神勇表现，所向披靡，取得塔儿湾大捷，拿下元朝的大都、上都，从此赶走了盘踞中原百余年的蒙古人。
