蓝玉从军的时候，一开始在开平王常遇春帐下效力，就任管军镇抚，做事很有胆有谋，面临敌人勇敢，只要征战都是成功的。常遇春多次在朱元璋面前夸奖蓝玉，后因屡战积功，由管军镇抚升任千户和指挥使，后升任大都督府佥事。
洪武四年(1371年)， 蓝玉随征西将军傅友德出征四川，攻克锦里(今四川成都)。
洪武五年(1372年)，朱元璋第二次北征沙漠之战中，蓝玉隶属徐达之中路军。徐达以都督佥事，蓝玉为先锋官，开始先出雁门关，在野马川(今克鲁伦河，位于今中蒙边境)打败扩廓帖木儿游骑。又打败在土剌河(今土拉河，位于蒙古乌兰巴托西)扩廓的军队，扩廓逃去。
洪武七年(1374年)，蓝玉又亲自带兵攻克占领兴和(今河北张北)，俘获元国公贴里密赤等59人。
洪武十一年(1378年)，蓝玉与沐英一起征讨西蕃的叛变动乱。
