独孤后闻言大怒："杨勇太过分，我给他娶的元妃他一点也不爱念，专宠云妃，还下毒毒死元妃(其实是心脏病发而亡)。我现在活着他还这样对待你，哪天我死了我不知怎样害你们兄弟呢。等你父皇驾崩以后，想到你们兄弟得向那个云妃小妖精拜跪称臣，为娘我真是心如刀绞!"杨广闻言再拜，呜咽不止。独孤后也抱持着儿子大哭。
由此，独孤皇后已经下了废掉杨勇的决心，日夜不停在杨坚面前说杨勇坏话，杨素等大臣也推波助澜，加之杨勇在冬至于太子宫中张乐接受百官朝贺，犯了大忌，老皇上最终也决定废嫡。
公元600年，冬十月，杨坚派人召杨勇入殿。心力交瘁的太子闻命大惊，问使者："不是要杀掉我吧?"进宫后，发现父皇戎服陈兵，百官肃立。杨坚开金口，废掉太子杨勇，押回东宫看管。立晋王杨广为太子，并命杨广负责看押杨勇。
一番苦心，终未白废，杨广终于由晋王成为皇储。杨勇当庭被废，"泣下沾襟"，只言自己罪过，拜辞而去，竟无一言反讦二弟杨广，由此，可见杨勇仍是一个宽仁忠厚之人。反观李世民太子李承乾，被废后鱼死网破，死咬四弟李泰，最终两人同归于尽，才得懦弱的高宗李治成为皇太子。可以推论，假如杨勇继位，隋朝不至于二世而亡。
杨勇被囚于府内，也感冤屈，几次上书诉冤，杨广命人把书信全部销毁，不许上闻。杨勇爬到树顶大声叫屈，希望老皇上听见自己的声音，亲自讯问。杨广的心腹大臣杨素趁机上奏说杨勇得了神经病，胡喊乱叫，不能治愈。杨坚听信此议，就没有再给杨勇诉冤进见的机会。
