杨坚终究没有让他失望，篡位立隋，自此杨素又成为了隋文帝杨坚麾下的一员大将，在灭陈，剿灭匪患，大破突厥中，他立下了不世之功，被封为越国公，隋文帝后期，杨素觉得时机已到，又在暗中助杨广夺位，因而杨广继位为隋炀帝后，对杨素的恩宠一天胜过一天。
杨广本身就是靠不正当的手段上位的，在加上他本身的疑心非常重，因而对于杨素，登上帝位后的他就比较顾虑，在当太子时，杨广办得很多龌龊事都是他和杨素一起谋划的，对于这么一个对自己知根知底的人，杨广并不放心。
606年，杨广封杨素为司徒，后任楚国公，食邑两千五百户，这年的杨素已经病重在床，无法下地，杨广经常派一些名医前去给他看病，还送给杨素很多药，杨素的家人们都非常感慨，隋炀帝真是仗义，不愧当初杨素为他坐了那么多的事。
杨素本人并不是很高兴，他知道杨广的意思，自己太过于聪明，权力也太大，如今终究引起了杨广的猜疑，其实说白了，隋炀帝给他送药的目的，就是希望他死，而这个隐晦意思也只有自己知道。
因而，杨素的病本来可以医治，但是他并不准备医治，同年8月31日，杨素去世，他死后，杨广给了他一场盛大的葬礼，也算是多年的感激。
