宇文述这才道出了缘由，声明不要谢本人，应该谢晋王，这些均是他所送，怕大人不肯接受，故意让其输掉，杨约自感无功受禄，想探明晋王为何对已如此器重，宇文述便向他交了底，太子忌贤妒能，对你兄弟二人恨之入骨，有朝一日登上王位，定要拿尔等治罪，如今太子失宠，若能改立晋王为太子，定保杨家兄弟荣华富贵。
于是，皇后和杨素兄弟均在文帝面前说太子的坏话，夸奖晋王的长处，时间一长，不由得文帝不相信。
一次，文帝派杨素到东宫去观察杨勇的言行，杨素回来禀报，言明太子对皇上不满，脸上带着怨恨，只怕要发生变故，要皇上应当小心才是。
杨广又乘机收买了东宫官员姬威，姬威便诬告杨勇私养马匹，准备乘皇上离开长安时发动兵变，诛杀大臣，文帝听后，立即着手更换太子。
