为皇帝建造奢华宫殿
虽然杨树用他卓越的军事才华解决了突厥问题，但一旦回到朝廷当中，与当时还在任的丞相高颎相比，他就相形见绌了。为了巩固自己的地位，杨素干的第二件事就是为杨坚与孤独皇后修建了一座大宫殿。杨坚是一个非常节俭的人，也是历史上有名的明君，很体恤老百姓的疾苦，所以从不铺张浪费。他听说哪个地方的老百姓受灾了，甚至不吃肉。可杨素为杨坚修建的这个宫殿，极尽奢华，花了很多钱。杨坚听说之后非常生气，要治杨素的罪。
杨素就赶紧去找独孤皇后，而独孤皇后听说盖了这么好的房子，就很开心，马上去劝杨坚。杨坚很快就被说服了，于是他非但没有批评杨素，而且继续给杨素大量的赏赐。类似这样的事情发生过很多次。这种事情的发生在无意间拉近了杨素跟孤独皇后的关系，为之后的废太子事件埋下了伏笔。
诬陷太子，令太子被废
