杨勇不但得罪了父亲，还得罪了他母亲独孤皇后。独孤皇后是个厉害的人物，她辅助杨坚建立隋朝，被封为皇后独宠后宫，身为正妻，她不喜欢男人纳妾，更是厌恶好色之徒。杨勇两样都占全了，不喜欢正妃元氏，姬妾成群，尤其宠爱云氏，后来元氏病逝，他让云氏打理东宫，更是惹怒了孤独皇后。杨勇跟他的姬妾有很多孩子，当年独孤皇后可是让杨坚立下了"此生决无异腹之子"的誓言，所以对杨勇这般行事，独孤皇后更是有了废太子的想法。
杨勇的蠢就是蠢在还没登上皇位前，身为太子就开始不断地得罪皇上和皇后，这跟作死有什么区别。杨勇在犯蠢作死，可他弟弟杨广可没闲着。杨广在还是晋王时，就是世家子弟楷模，他形象优雅俊美，聪慧稳重，文采斐然，礼节周到，又简朴广受好评，在皇子中声望最高，很有群众基础，大臣都向隋文帝夸杨广，隋文帝自然开始多多关注这个儿子。杨广一边在隋文帝面前留下好形象，一边又讨好独孤皇后。因为杨广看到独孤皇后不喜欢男人姬妾成群、好色的毛病，所以杨广就树立不近女色，孝顺仁爱的形象，于是杨广让独孤皇后很是信任和喜爱。杨广在皇帝皇后跟前扮乖讨好，而背地里却勾结大臣，结党营私，频频陷害太子杨勇，让杨勇彻底失去隋文帝和独孤皇后的信任，帝后派人监视杨勇，欲废太子。
在公元600年，杨勇孤立无援，斗不过杨广，杨广和杨素见时机成熟，派人威胁东宫近臣姬威密告杨勇图谋不轨，隋文帝震怒，囚禁杨勇及其儿女，十月，杨勇被废，连他的子女一起被贬为庶人。十一月，晋王杨广被立为太子。杨勇被废之后，被囚禁在东宫，交给杨广看管，屡次请求要见隋文帝，杨广当然不可能给他这个机会，还让隋文帝以为杨勇疯了，杨广登基后，就把他给杀了。
