杨勇知道了杨广的谋划，明白自己的处境很不利，非常忧惧，但也不知道该怎么办。杨勇听说巫师王辅贤能占卜吉凶，有消灾解厄的办法，于是召见王辅贤，王辅贤则为杨勇制造了厌胜之物。杨勇又居住在简陋的屋子，穿着粗布衣裳，以草垫当被褥，希望以此抵挡灾厄。
杨坚知道杨勇不安，担心他会干出什么出格的事，于是派杨素去观察杨勇。杨素已经是杨广的人了，所以故意激怒杨勇，然后向杨坚报告说杨勇神色不满，恐怕会有变故，应该严加防范。杨坚闻言，对杨勇非常疑虑。
独孤皇后又派人监视杨勇，发现杨勇言行有轻微的不当，便添油加醋地告诉杨坚，罗织罪名。杨坚向来听信独孤皇后的话，受其迷惑，更加疏远猜忌杨勇，也安插眼线监视杨勇。杨广又让人贿赂杨勇的宠臣姬威，令姬威将太子的举动秘密报告给杨素。于是诽谤四起，杨坚天天能听到杨勇的过失，因此打算废黜杨勇。
杨坚认为杨勇的属官图谋不轨，对自己不利，于是逮捕他们，交给狱吏审讯。杨坚又令杨素报告杨勇不法的事情，让身边的大臣都知道，接着杨坚又宣告杨勇的罪行，想下诏废黜杨勇。但废立之事，事关重大，杨坚被部分大臣劝阻。
这时杨勇的宠臣姬威上书告发杨勇的罪行，杨坚又结合自己安插在杨勇身边的眼线所上报的事情，于是下诏废黜杨勇，贬为平民，囚禁在东宫。随后杨坚立杨广为皇太子。
