为此特制了一顶可容纳数千人的大帐篷，帐篷内盛设酒筵，演出百戏，以款待可汗及其部落3500人，还赠予大批礼物。随行的光禄大夫贺若弼、礼部尚书宇文弼和太常卿高颎，私下议论炀帝太奢侈，认为对待突厥人恩礼太过。这事被人告密，炀帝当即将３人处死，家属流放边远地方。御史大夫张衡本来颇受亲宠，炀帝要扩建汾阳宫，命张衡绘图设计，张衡乘机劝炀帝稍许节省一些。炀帝从此对他大为不满，后来借故把他贬为榆林太守。
大业五年薛道衡冤死，张衡说了句抱不平的话"薛道衡真为枉死"，加上别的一些事，被人奏报，几乎被处斩，锁拘多时后除名为民。张衡归老家河内居住，炀帝仍不放过，时时派人伺察。大业八年，炀帝征辽东回来，张衡妾告发主人"谤讪朝政"，予是赐张衡自尽。宇文弼等人身为大臣，功高望重，竟无罪被杀，天下士大夫无不寒心，大臣们再也不敢说什么了。
