但是好景不长，洪武十二年，宋晟因罪被贬到甘肃凉州任职指挥使。当时甘肃已经处于中国的边境地区了，而且环境也不好，经常会有元朝的残余势力过来攻打。之后宋晟率军攻打叛乱的西番部落，歼灭和俘虏了大量敌军，还将他们的部落首领送去京师。朱元璋一看宋晟还是这么能打，于是就把他从甘肃边境调回来了，重新升了官，依然镇守他之前所管理的凉州。
后来西域边境哈密进犯，宋晟与刘真率领部队讨伐，哈密距离当时最近的肃州兵团也有一千多里。在那个没有汽车的年代，虽然也有马匹，但是很少，还是要靠人力行军。因此宋晟要求部队多准备干粮，急速行进，赶了一天两夜的路，趁夜直接进攻哈密城。当时敌人还都在睡梦中，他们也不相信明朝军队这么快就兵临城下，明朝军队很容易就攻克了哈密城，哈密的首领被杀的被杀，被俘的被俘，经过此次战役，西域各国都不敢再进犯明朝。
之后宋晟一直领兵征战边境，到洪武三十一年，宋晟跟着朱棣出兵边塞，他正是在此时得到朱棣信任的。后来朱棣回京，而宋晟则 一直镇守甘肃。明成祖朱棣即位之后，宋晟曾被召回京师，加官进爵之后继续驻守边疆。永乐三年，因为宋晟在边关将蒙古部落招降，并且得到了上万头牛羊，明成祖很高兴，专门派遣使节去封宋晟为西宁侯，子孙世袭。
