由于他作战能力非常强，后来随着直隶总督刘铭传北上攻击捻军，在同治6年，被任命为巴图鲁，也就是清朝第一勇士的称呼，在光绪17年，他曾经参加北洋海军阅兵活动，因为他的操练军队卓有成效，加上平定了金丹教叛乱，并且攻克了很多叛军的首脑，被皇帝赐为皇马褂，后来被清朝任命为山西太原镇总兵，也被称为淮军三大名将之一。
甲午战争期间聂士成帅军进驻崖山，当时日本军队在海面上偷袭中国的高升号运兵船，同时派遣陆军想要包抄崖山，聂士成根据敌众我寡，敌强我弱，在不利的情况下利用高山埋伏，最后将日军打的溃不成军，在平壤失陷后，他还参加鸭绿江江防战坚守摩天岭，并且组成防御利用高山险阻奇袭日军，击毙了日军将领富刚三造，是甲午战争期间唯一的一次胜利。
在甲午战争失败后，庚子之变又开始爆发，当时国内有义和团起义，国外有八国联军，清朝为了能够阻挡联军，命令聂士成防守大沽炮台阻止八国联军北上，聂士成率领军队和八国联军的先遣队交战在一起，双方互有死伤，由于聂士成军队已经装备了德国最先进的重机枪，八国联军也损失惨重，后来联军只能后撤，这场战役也被称为廊坊大捷，后来在战斗中却被义和团反戈，聂士成战死沙场，后来因为其生前积累了很多功劳，清朝追封他为太子少保，
