但他们的次子杨广在表面上的做法和杨勇恰恰相反，杨广夫妻经常在独孤皇后年间表现一副恩爱和谐的画面，给她留下很好的印象，也更喜爱杨广，而厌烦杨勇，改立太子的想法也因人而生。
而隋文帝杨坚本来废太子杨勇还犹豫不决，决定对其观察后再做定夺，结果私下里有人故意把消息透漏给杨勇，故意刺激他，使得杨勇说出了不少忤逆的话，加上杨勇平时和官员来往密切，隋文帝杨坚对太子猜忌也越来越深。再加上独孤皇后在背后不停得数落太子的不是，最终杨勇被废，改立杨广为太子。
其实杨勇的太子并没有多大过错，只是杨广太狡猾迷惑了独孤皇后，使得杨勇受到隋文帝杨坚的猜疑、独孤皇后的厌恶，最终在假象之下杨坚做了件糊度事，也断送了夫妻二人辛苦建立的隋朝江山。
