于是，自信满满的杨广询问臣子，叛军的情况。宇文述回答道："越来越少了。"杨广听后很是满意，就着人赏赐。
但是，在询问到苏威的时候，苏威却回答说："这不是他负责的事情，所以他也不知道到底有多少，各地奏报有不真实的情况，所以，我对队叛军的情况掌握的不多，更没有完全将其剿灭。如果陛下你真心想要收服高句丽，用这些造反的人，让他们戴罪立功，高句丽也就灭了，叛军也消除了，不是更好吗？"
这样的话是出于真心不错，但是，在杨广听来可就不一样了，人家宇文述都已经回答了叛军越来越少，苏威你不负责这件事情，更不知真假，那么，你的话又有多少可信度？而且，但凡造反的人，有哪个是老实本分好相与的？全是一些不知好歹的刁民！如果，此时把权利给与他们，这样岂不是让他们把刀架在我这个皇帝的脖子上，苏威简直是居心叵测。
于是，杨广大怒，直接说："苏威竟然敢用叛军来胁迫朕！"皇帝有了不满的想法，底下自然有的是人愿意替皇帝出手，就比如裴蕴，他接收到了皇帝的暗示，于是，把苏威滥用职权的事情摆在了台面上，又找到了苏威与突厥相勾结的证据。苏威一瞬间就变成了过去式，被杨广贬了整整三级官职！
