仁寿四年（604）炀帝杨广即位。西域诸国均至张掖互市，裴矩监其事。他知道炀帝慕秦皇、汉武之功，欲通西域，乃访西域风俗及山川险易，物产服饰，编成《西域图记》三卷，共四十四国，入朝奏之。炀帝大喜，厚加赏赐，每日引见，询问西域之事。裴矩盛言西域珍宝及吐谷浑可攻，炀帝信之，委以经略。后相继拜民部尚书，黄门侍郎，参与朝政，与纳言苏威等六人，参掌选事，时人谓之“选曹七贵”。后奉命前往引致西蕃，至者十余国。大业三年（607）十月，复至张掖，引致诸胡，诱之以利，劝令入朝。
自此西域各国相继往来，所经州县疲于迎送。当时诸国朝贡者多，为迎合炀帝奢糜虚荣之心，在洛阳丰都市，盛设帷帐，珍货充积，胡商过酒食店，令醉饱而去，不取分文。树木缠绕丝绸，胡容为之惊叹，问曰:“中国亦有贫者，衣不蔽体，何不以此物与之，缠树何为？”市人惭愧，无言以对。而炀帝对裴矩极为欣赏，曾谓大将军宇文述曰:“裴矩大识朕意，凡所陈奏，皆朕之成算，未发之顷，矩辄以闻，自非奉国尽心，孰能如此！”
大业六年（610）十二月，从帝巡于塞北，至启明可汗帐。时高丽使者在，启明不敢隐，使出与之见，裴矩对炀帝说:“高丽本箕子（商纣王之叔）所封之地，汉、晋皆为郡县，今乃不臣，别为异域。今其使者亲见启民举国从化，可因其恐惧，迫使入朝。”炀帝听从了他的意见，当即宣旨曰:“朕以启民诚心奉国，故朕亲至其帐。明年当往涿郡，尔还后语高丽王:苟还不朝，将率启民往巡彼土。”高丽王拒不受命，帝决计讨之。大业八年（公元612年）隋炀帝亲征高丽，裴矩为虎贲郎将。隋军先败于平壤，再败于萨水，损失惨重。第二年，兵部侍郎斛斯政叛逃高丽，裴矩兼掌兵部事。
