永淳元年（682年），西突厥贵族十姓阿史那车薄啜又起乓反叛，围攻弓月城（今新疆霍城西），裴行俭又被任命为金牙道行军大总管，但还没有出发就去世了，享年六十四岁。
裴行俭作为当世名将，不仅善于指挥战争，而且知人善任。他提拔或推荐的高级将领，例如程务挺、张虔勖、崔智聅、王方翼、蚕金毗、刘敬同、李多祚、黑齿常之，大都是当世名将，由副官升为刺史将军的几十人。
在吏部任职时，他善于发现人才，当看到还是底层官员的苏味道、王剧时，说道："你二位日后会做到宰相的位置。"当时宰相李敬玄大力赞扬王勃、杨炯、卢照邻、骆宾王的才学，推荐给裴行俭，裴行俭说："做官的人要达到远大的志向、职位、前途，就要把度量见识放在首位，把文学技艺放在其次。像王勃等人虽然富有文才，但轻浮急躁，爱卖弄夸耀，哪里是享有爵位俸禄的人呢？杨炯比较稳重谨慎，可以当到县令，其余的人都不会善终。"众人都不相信，但结果一一被验证。
裴行俭还仗义疏财，把财富看作是身外之物。高宗曾赏赐给他骏马和珍贵的马鞍，令史私自骑马奔驰，马跌跤摔坏了马鞍，吓得逃跑了。裴行俭叫他回来，没有追究他。当初，平定阿史那都支、李遮匐时，缴获的珍宝数量巨大贵重无比，各国的首领将士希望看看，裴行俭乘机设宴，全部拿出来让他们观赏。有一个直径两尺的大玛瑙盘，错杂艳丽的色彩闪烁光亮，军中小吏脚步太快跌了一跤，盘子被摔碎了，惶恐惊怕，跪在地上叩头出血。裴行俭笑着说："你不是故意的，怎么吓成这个样子？"没有一丝舍不得的颜色。高宗赏赐给他从阿史那都支那儿缴获的财物金银器皿三千多件，骆驼马牛数字相同，裴行俭分送给亲戚朋友直到部下，几天时间就送光了。
