裴行俭为隋末名将裴仁基的小儿子，裴仁基和长子裴行俨（即隋唐演义中裴元庆的原型）本为隋将，勇猛异常，后投靠瓦岗军，在和王世充作战失利后，兵败被俘，后为王世充杀害。
高宗永徽年间，在长安县县令任上的裴行俭听到高宗将立武则天为后的消息后，忧心忡忡，认为国家之祸必然从此开始，于是与长孙无忌、褚遂良私下商量对策。武则天的心腹袁公瑜听说三人聚会之事，遂告知武则天的母亲杨氏，武则天找其他借口让高宗贬裴行俭为西州都督府（今新疆吐鲁番东南高昌故城）长史，效力于西域边陲。
裴行俭被贬可以说是因祸得福，一方面远离政治中心长安，避免像长孙无忌一样被武则天陷害；另一方面，裴行俭由文官改为武官，造就了一代名将的产生。
高宗总章元年，唐政府军事重心转向西部，以限制吐蕃为主。但此时唐在防守西域问题上犯了严重的错误。这时裴行俭为安西大都护，坐镇西域，他已经镇守西域十多年，深得人心，了解西域山川地形，应该是唐防御吐蕃的最佳人选。但高宗和武后不信任裴行俭，害怕他叛国投敌，在大战前夕，高宗突然下诏书召回裴行俭，任命为吏部侍郎。
