其次，他陷害了太子杨勇，并协助杨广登上皇位。在杨素的帮助下，晋王杨广成功地除掉了杨勇。隋文帝病重时，杨素矫诏派东宫士兵控制皇宫，并命令张衡监视隋文帝的情况。结果隋文帝在那晚就驾崩了，朝廷内外对此有很多非议。随后杨素帮助杨广平定了汉王杨谅的叛乱，并帮助隋炀帝巩固他的权力。
此时，杨素的威望已经达到顶峰，连杨广也很害怕他。杨素非常了解这一切，因此在重病期间拒绝治疗。去世前，杨素为薛道衡写了一首五言诗，这首诗气势磅礴，魅力非凡。读完之后，薛道衡叹了口气说："人之将死，其言也善，岂若是乎！"不久，这位隋朝的第一名将，第一奸臣，在长安因病去世。
