而他的好色更是惹怒了他的母亲独孤伽罗。独孤伽罗认为元氏的女儿性格温婉贤惠，仪态端庄大方，是将来母仪天下的最好人选，就做主让她当了太子妃，但是按照惯例她又不得不立云氏的女儿为太子妾，这太子妾活泼开朗，聪颖伶俐，很受杨勇待见，独孤伽罗暗地里让杨勇离她远点，跟太子妃走近些。
可是杨勇把母亲的话当成耳旁风，一味的宠幸太子妾，还生了好几个孩子，而他的正妻元妃不得宠爱，气出了心病，没多久就去世了，独孤伽罗非常生气，就动了换太子的念头。
隋炀帝
其实光是这样，说不定隋文帝还不至于换太子，有一人早就野心勃勃，想取杨勇而代之，这位就是日后的隋炀帝杨广，杨广这个人比较隐忍，他特别能装，在独孤伽罗面前表现得一点也不好色，对自己的原配始终宠爱非常，让独孤伽罗非常喜欢，同时他还故意激怒太子杨勇，让他在隋文帝面前失态，久而久之，独孤伽罗就正式向隋文帝提出要更换太子，而隋文帝也很踌躇，派人观察太子杨勇，结果被杨广利用，估计设局来激怒杨勇，让他大发牢骚。
