后来高熲的妻子去世，杨坚和独孤要给他续弦，高熲没答应，不久，高熲的小妾生子，杨坚在独孤后的枕头风一再吹拂下，积了一肚子的气。杨坚在独孤氏的影响下，认定杨勇很不合格，所以要撤掉他的守卫，高熲认为不但不能少，还应该多，杨坚怒不可遏，认为高熲已非合格臣子。后来，杨勇被废，死保太子杨勇的高熲就碍人眼了，他得罪了杨坚，得罪了独孤，也得罪了杨广，被踢出朝堂也就正常了。
大家可能不知道高大人是怎么死的，当时年龄多大了？他是在67岁的时候，见到炀帝奢靡，有所议论，被人告发，之后就简简单单的赐死，能够荣享几十年的荣华富贵，发挥着自己识人、提拔后人的优点，从这方面来说高熲是幸运的，在参与夺嫡这方面的争斗，还能全身而退，我们是不是可以理解为隋文帝杨坚和独孤皇后对他的一种保护呢？
