到此时杨素并不能算是一个奸臣，甚至可以说是一个挺不错的功臣。可他为了巩固自己的权位干了第三件事，就是参与太子的废立问题，从此后，他就走入了奸臣的轨道。当时隋朝的太子叫做杨勇。杨勇的生活非常奢侈，屡次被杨坚教训。可是他还一而再的犯同样的错误。虽然杨勇除了有些生活方面的毛病，但他也没有干过能够导致被废掉太子之位的重大错误。
当时杨勇有一个太子妃，太子妃是孤独皇后指定的。不幸的是太子妃莫名其妙的死掉了。其实在那个时代，因为缺乏医疗手段，人到了三四十岁突然死掉，也是很正常的事。可问题在于杨勇非常好色。所以独孤皇后就怀疑杨勇杀害了太子妃。母子之间的矛盾就这么产生了。
而杨广是非常有心计的，他打听到太子与皇后之间关系不好，他知道自己有机会了。杨广此人和他哥哥一样，有着各种坏毛病，可是他非常会演戏，每当杨坚来视察他的日常生活的时候，他就会把家里的漂亮女人都藏起来，只和正妻在一起，而且家中只留一些长相普通的佣人。所以杨坚一直以为杨广的生活很朴素。而且杨广很会讨母亲的开心，经常到孤独皇后的面前诬告他的哥哥。所以独孤皇后对大儿子杨勇的态度发生了转变。
这个时候，杨广还需要有人再帮助他一把。太子的废立是需要丞相的参与的。而丞相杨素此时也看出了孤独皇后的态度，想要及时投资，于是他就找孤独皇后聊天去了。独孤皇后表达了对杨勇的不满。于是杨素立刻见风使舵，罗列了一堆太子的罪名。这就坚定了独孤皇后以及隋文帝杨坚换太子的决心。于是，杨勇被废，杨广成了太子。
