隋朝亡在了隋炀帝手里，而隋文帝和隋炀帝交替之际的史料多有混乱。有一种说法就是，隋文帝临死前发现隋炀帝、时为太子的杨广非正人君子，坚决要换太子。
这件事的真实性非常值得怀疑。首先，改立太子是件大事，草率从事的皇帝不多。从历史上看，还没有哪个皇帝在生命垂危时改立太子的。其次，杨广从开皇二十年（600年）被立为太子以来已经四年多，可谓羽翼丰满，而且隋文帝来仁寿宫之前，就已经把国事全盘托付给了太子，太子已经是摄行皇帝职权的准皇帝了，此时换太子风险极高，弄不好会引起哗变，危及政权。再次，更换太子需要极复杂的运作，而隋文帝的生命已经进入到了倒计时，几乎没有运作的时间和精力。最后，更换太子的一个重要前提是，太子一定要有十分重大的错误，而且替代者要相对优秀，可当时这两个条件都不存在。
对于这件事，《隋书·杨素传》如此记载："时皇太子入居大宝殿，虑上有不讳，须豫防拟，乃手自为书，封出问素。素录出事状以报太子。宫人误送上所，上览而大恚。所宠陈贵人又言太子无礼。上遂发怒，欲召庶人勇。"
