话又说回来，杨坚提出修造避暑离宫，作为工程主管，杨素不敢违背圣上意见，擅作主张。而等到任务完成了，皇帝却又蛮不讲理，大发雷霆，杨素实在有些冤枉。
面对此情此景，独孤皇后抚慰杨素道："公知吾夫妇老，无以自娱，盛饰此宫，岂非忠孝。"这时候，杨坚却犹如什么都没有发生一样，改口夸奖杨素。
性情变化，让杨坚慢慢走远了。
当初，杨坚修订律例，从严治理国家。而现在，杨坚还亲手破坏了自己当年所制定的法律。面对下级官吏有时不尊重上级官员的情况，杨坚规定说如果属官犯法，上级可以在法律之外酌情增加刑罚，这导致了"上下相驱，迭行捶楚。"这种情况的后果就是官场残暴抬头，守法者往往成为弱势群体。
面对盗贼增多的社会现象，杨坚"命盗一钱以上皆弃市，或三人共盗一瓜，事发即死。"偷一文钱，便会被判死刑街头，这样的法规显然已经非常严苛了。在这个规定出台后，出现了三个人偷窃一个瓜而被一齐处死的情况，实在令人感到恐慌。
三条人命换了一个没有吃到嘴里的西瓜，犯罪成本的无限度加大，惹得民怨沸腾。尽管杨坚后来局部改变了这些规定，但人心却变得别扭起来。
晚年听信谗言、草菅人命，让杨坚的形象大打折扣。史万岁在隋朝灭陈战争中立下赫赫战功，一统后又不辞辛劳，北上攻伐突厥，是一个著名的大将。因为杨素谗言陷害，加上他和杨坚说话时"词气愤厉，忤于上。"结果杨坚怒火冲天，命令左右暴杀了史万岁。
在传位给杨广这件事情上，杨坚的乖戾很是明显。身为嫡长子的杨勇原本是太子的不二人选，但被立其为储君后，杨坚认为他性格憨厚贪玩，不足以继承皇位。杨坚坚信杨广更加有人君之相，加上杨广的经营、皇后的劝说、杨素的谗言，杨坚废除杨勇，改立杨广为太子。
正像司马光所说的"猜忌苛察，信受谗言，功臣故旧，无始终保全者;乃至子弟，皆如仇敌，此其所短也。"
身体每况愈下和对未来的隐忧担心，让隋文帝杨坚的性情突变，为后来埋下了祸根。
