杨素的朝中地位几乎令所有人都眼红，他本人虽在享受皇帝这些极高赏赐，但其实心里却是留了一个心眼。帝王之心不可测，前朝有太多类似例子，所以杨素也知道杨坚其实是在有意拉拢他，因为自己身上藏着太多皇帝的秘密。这样一来，杨广对杨素这位大将既宠信又忌惮，加上他功高震主，很难排除他不会有二心。
毕竟在杨素当初是背叛北周，从而投靠的杨广，有过这样的先例，谁也不能保证杨素就会一心一意的侍奉自己。晚年的杨素病倒在床，隋炀帝得知消息后特意派各种名医前来他的府中治疗，不仅如此，他本人更是亲自探望。每每见到这位得力干将，言语间总是对他忍不住夸赞，希望他早日好起来。
杨广为杨素送来许多名贵的药材，这些好心之举在杨素看来不过是做做样子罢了，自己当初亲手帮助他弑父夺位。这些不光彩的背后秘密他全都知道，杨广心里唯恐这些秘密会被昭告天下，表面上对他各种关心，实则巴不得他早点死才好。所以在两个儿子劝说他吃药时，杨素只是摇头拒绝，并将自己的心中的想法都告诉了家人。
不过，即使如此，这位风光了半辈子的将军还是因为病情严重而过世，恐怕此时的隋炀帝也是松了一口气吧。
