第二次，是洪武五年(1372年)正月，朱元璋又命徐达为征北大将军，李文忠为左副将军，冯胜为右副将军，各率五万骑，三路出兵"清沙漠"(当时明朝统治者把对蒙古用兵，称为"清沙漠"或"肃清沙漠")。二月，徐达率领中路军出雁门，至野马川败蒙古军队。五月，至岭北，扩廓帖木儿与贺宗哲合兵来战，明中路军战败，死亡数万人，徐达 "敛兵守塞"。冯胜率领西路军于五月至甘肃进至亦集乃路(今内蒙古额济纳旗)，守将ト颜帖木儿以全城降，又进军至瓜、沙州而还。李文忠所率东路军，出应昌，于六月至口温，进至哈刺莽，胪朐河， "人持二十日粮，兼程而进，至土刺河"， "复进至阿鲁浑河"，直到称海(今蒙古国西南部)而还。
"宣宁侯曹良臣、骁骑左卫指挥使周显、振武卫指挥同知常荣、神策卫指挥张耀俱战没"。
这次战役，东西两路虽然获得了一些胜利， 迫使蒙古军后退，但并没有太多的缴获，而明军方面却遭到了不小的损失。李文忠的东路军，死伤很多。尤其是作为主力部队徐达所率的中路军更是遭到了失败，死数万人。所以明朝政府当三路军班师回朝时， "赏罚俱不行"。这一次战役以后，朱元璋感到蒙古军事力量一时难以全部平定， 就改变为以防御为主的战略。
洪武六年(1373年)正月， 朱元璋命徐达、李文忠等往山西、北平练兵备边，临行时朱元璋告诚他们说:山西、北平紧邻蒙古， "无事之时，正宜往彼练习军土，修葺城池，严为守备"。"来则御之，去则勿追，斯为上策。若专务穷兵，朕所不取，卿等慎之"。
洪武八年，元将王保保卒于哈剌那海之衙庭，蒙古南犯的势力也渐趋衰弱。所以， 从明朝第二次大规模对蒙古用兵以后，在北方边境，明朝中央政府与蒙古地方割据势力虽仍有战争，但规模都不大。
