裴行俭在选才任官的工作岗位上，也做出了突出贡献，获得了广泛的赞誉。他和另一名吏部官员李敬玄齐名，人称裴、李。
但裴行俭到长安担任吏部官员后，西域缺乏有能力、有经验的大将，导致安西四镇轻易被吐蕃攻占。
唐廷准备讨伐西突厥，但路途遥远，害怕不会成功。此时在长安的裴行俭建议说："吐蕃跋扈蛮横，现在正处于强盛时期，李敬玄征讨失利，刘审礼已死，用兵征伐难以成功。波斯王刚刚去世，他的儿子泥涅师在长安做人质，如果派遣使者送泥涅师回波斯继承王位，就从突厥、吐蕃两国经过，要是运用计谋解决问题，是可以不用劳神费力就能成功的。"高宗于是命令裴行俭带上诏书护送波斯王，并任安抚大使。裴行俭奏请高宗任命王方冀为自己的副手，检校安西都护，协助自己完成平叛任务，高宗答应了裴行俭的要求。
裴行俭出发西行，到了西州，各属国官员出城迎接，他从当地招集了一千多名才智出众的人跟着自己向西走。制造舆论说："天气太热，不能前进，应该住下来等待秋天。"阿史那都支侦探到这个情报，就没有设防准备。裴行俭从容地召见安西四镇即龟兹、于阗、疏勒、碎叶的酋长，假装邀约打猎，对他们说："我爱好打猎的兴趣从来都没有忘掉，谁愿意跟我去打猎？"表示愿意跟随的当地年轻人有上万名，裴行俭于是把这些年轻人武装起来，暗地带着队伍出发。几天之内，加速前进，离阿史那都支的营帐十多里，先派他亲近的人去向他问安，外表显得清闲无事，不是来袭击的，又派人急速召见阿史那都支。
