洪武二十年（1387年）春正大癸丑，冯胜（洪武三年被封为宋国公）被任命为征虏大将军，颍国公傅友德、永昌侯蓝玉为左右副将军，率师出征元太尉纳哈出，消除辽东兵患。这次出征，常遇春的长子常茂（冯胜的女婿）也同行，但常茂常常不受冯胜约束，后来二人是互看不顺眼（为后来冯胜失宠埋下隐患）。此役，蓝玉率领轻骑冒着大雪出兵，杀元廷平章果来，擒获果来的儿子不兰奚。此后，冯胜又指挥大军进至金山，纳哈出来降，蓝玉负责受降。结果常茂拿刀上去与纳哈出搏杀，导致归降一事最终黄了，虽然大胜，但也付出了不应有的损失。事后，冯胜向朱元璋奏请说常茂临阵搅局，影响了归降，朱元璋就把常茂给押解到了京城，另行安置，直到洪武二十四年（1391年），常茂去世。
不过，接着有人也向朱元璋举报，冯胜私藏许多良马，还向北元降臣索取财物，常茂也趁机打小报告。没多久，冯胜的大将军之印被收回，软禁在京城，再也没有统率大军。之后，冯胜还因为自己的女婿朱橚（朱元璋第五子）来秘密会见他，也被朱元璋怀疑有异心，而被训斥，在蓝玉案两年之后(1395年)被赐死。
就在冯胜被收回兵权之后，明朝廷任命蓝玉"总管军事"，拜大将军，屯兵在蓟州（现在的天津蓟县）。至此，蓝玉登上了大明帝国军事系统的最高主官位置。
洪武二十一年（1388年），蓝玉奉命率领15万明军征讨北元，星夜兼程，出其不意地在捕鱼儿海（现在的贝尔湖）大破北元军队，彻底消灭了黄金家族，北元政权灭亡。此役战功显赫，可以说是蓝玉一生中的巅峰之战，其实也是谢幕之战（更加让蓝玉迷失自我了）。据记载，对于这场决定性战役的胜利，朱元璋是非常高兴，"帝大喜，赐救褒劳，比之卫青、李靖"。 在班师还京后，十二月进封为"凉国公"（虽然有褒奖，但此时的朱元璋已开始给蓝玉敲警钟了）。
洪武二十二年（1389年），蓝玉又受命督修四川城池。此后几年，又去西南、西北平定少数民族叛乱。
