公元604年，隋文帝病逝。杨广登基，是为隋炀帝。
隋炀帝能一步步坐上皇位的位子，杨素功不可没，如果不是他在幕后经营策划，皇帝的位子怎么也轮不到杨广来坐，所以隋炀帝对他优宠无比。
（隋炀帝）
不过，隋炀帝坐皇帝，宗室子弟杨谅表示不服，发起叛乱。又是杨素大败杨谅，帮助隋炀帝稳定了皇权。
然而，杨素功高盖主，又在朝中颇有威望，所以隋炀帝对他非常忌惮。
杨素又无从解释，内心颇郁闷，不久便病倒在床。
隋炀帝常常打着探望病情的名义来看他是不是快要死了。甚至还背地里和人说，若是杨素不死，将来必灭满门。这话很快被人告诉了杨素，于是他不再询医问药，不久便病死了。
杨素死后，隋炀帝便让杨玄感承袭了杨素楚国公的爵位，并封他为礼部尚书。但杨玄感深知杨素为隋炀帝所害，对他非常痛恨。再加上隋炀帝猜疑心重，对朝臣屡有杀戮，因此杨玄感渐渐产生了谋反的念头。
由于杨素在世时，朝中老臣多是他的手下，因此杨玄感入朝议政后，这些老臣也和他颇有亲近。
