杨素不知是气得还是怨的，很快便病倒在床了，隋炀帝派了许多名医去诊治，也赐了许多名贵药材，可谓恩宠有加。可是每当这些医生回来后，隋炀帝又悄悄地问他们，杨素的病怎么样了，如果仅仅是这样问到也正常，他还会自言自语说，怎么还不死呢。
这话传到了杨素的耳朵里，他便不肯再吃药了，他知道自己的名望和地位已经达到了极限，他也不想谨小慎微地活着，他经常说："还有必要活下去吗？"不久，不再治疗的杨素便病死了。长子杨玄感继承了他的爵位。
在杨素病死后不久，隋炀帝就对人说过："杨素就是不死，总有一天我也会将他满门抄斩。"此话传出，成为杨玄感的一块大心病。他虽然继承了老爹的高官厚禄，但是他一直惶恐不安，就想先发制人。早在隋炀帝亲征吐谷浑的时候，他就策划过一次兵变，但是最后被他的叔父杨慎阻止了。
