但杨勇也有两个缺点：一是好奢；二是好色。
有一次，杨勇为自己做了一件华丽的蜀铠，上面不仅用黄金做甲，还镶满了宝石，看上去非常华贵。隋文帝是崇尚俭朴的人，他看到后，唯恐杨勇染好奢，所以对他多有劝诫。
好奢并不会动摇杨勇的太子之位，动摇太子之位的是好色。
杨勇广纳美妾，唯独对独孤伽罗替他挑选的太子妃元氏冷若冰霜，不光如此，得到他宠爱的侍妾，在吃穿用度上居然和太子妃的待遇相差无二。
独孤伽罗认为杨勇失德，对他非常不满。再加上不久后，元氏病逝，杨勇又让最得宠的侍妾打理后宫。因此，独孤伽罗疑心元氏是被杨勇与他那个侍妾合谋毒害而死。于是，她不仅差人暗中调查此事，还在隋文帝面前多次数落杨勇的不是。
比起杨勇的率性而为，次子杨广就工于心计得多。
杨广“美姿仪，少聪慧”，年纪轻轻就立有诸多战功。他崇尚简朴，爱惜人才，待人又非常谦恭有礼，最难得的是，他和隋文帝一样不好声色，对萧王妃重情重意。
独孤伽罗因此很喜爱杨广，多次在隋文帝面前夸赞他。
久而久之，杨广得到了隋文帝的欢心。因此，杨坚废黜了杨勇的太子之位，并改立杨广为太子。
公元602年，58岁的独孤伽罗病逝于永安宫。
隋文帝承受不住丧妻之痛，病倒在床。
公元604年，隋文帝的病势已非常凶险，眼看就要不久于人世。
就在这时，隋文帝无意得知，杨广已经迫不及待在同御史大夫商量如何登基的事情了。这自然让隋文帝非常不高兴，毕竟他还没死，所以他马上召杨广进宫，准备当面质问杨广。
谁知，才纳不久的宠妃宣华夫人也向隋文帝哭诉，杨广竟欲对她行非礼之举。
隋文帝气得火冒三丈，猛地从床上坐了起来，拍着床板大叫：“畜生何足付大事，独孤误我！”并召集大臣元岩和柳述，让他们草拟诏书，准备废掉杨广的太子之位，并复立杨勇为太子。
杨广得知后，立刻把元岩和柳述抓捕入狱，随后又把隋文帝身边侍奉的人全部撤走，换上了心腹张衡。
