最终，黑齿常之的叛军被唐朝和高句丽联合击败，黑齿常之只好向唐朝归降。随后，大将刘仁轨放走了黑齿常之，让他招降仍拒不投降的叛军。部属孙仁师说："百济人面兽心，怎么可以相信！"刘仁轨说："我看黑齿常之是个好汉，必然注重信义；之前他投奔错了人，现在是他们感激立功的时候了！"最终，黑齿常之如刘仁轨所料的招降了剩下的叛军，正式加入了唐军。
之后，熊津都护府被新罗偷袭并吞并，而黑齿常之只好随唐军退回国内。在中原，黑齿常之屡次升迁，备受重用。公元678年，唐朝和吐蕃发生激烈的冲突，黑齿常之随洮河道行军大总管李敬玄等人出击吐蕃，而对手是被誉为高原战神的论钦陵。战斗中，唐军承受不了剧烈的高原反应，最终落败，唐军随时面临全军覆没的风险。
为了帮助主力撤退，黑齿常之自告奋勇，要求率领500勇士夜袭敌营。当天晚上，黑齿常之果然率军袭破吐蕃营地，导致敌人四散奔逃。唐军主力趁此机会，逃离了险地，而黑齿常之也因为这次勇敢的突袭，被封为左武卫将军，负责驻扎在唐蕃边境，反被吐蕃的侵袭。
两年后，吐蕃大将论赞婆率领3万骑兵进攻唐朝边境，黑齿常之率军迎敌。黑齿常之观察敌方营寨，发现对方结阵非常散乱，于是他夜里带领2000骑兵突袭敌营，将吐蕃人杀得大败，死伤数千人，夺取牛羊马不计其数，论赞婆仅以身免。
