杨素这个人自私自利，远不及高颖的高瞻远瞩。如果，隋文帝当年能积极采纳高颖的忠言，想必，隋朝也不会这么快就灭亡。因此，许多研究隋朝的人都认为：是杨坚的独裁统治导致了隋朝的覆灭，而后来隋炀帝的所作所为，也不过是继承了他父亲的"衣钵"罢了。
还有一种说法认为：杨坚与妻儿的关系，影响了隋朝的命运。最初，杨坚与妻子独孤氏十分恩爱，正是因独孤氏的助力，杨坚才得以纵横宦海，最终，夺取政权。在建立隋朝之初，两人关系还好，并出现了"开皇之治"的良好局面。
然而，随着隋朝统治的稳固，杨坚淫、骄、奢的本性开始暴露，从前，"誓无异生之子"的誓言，在他身上更是像一个枷锁一般，束缚着他作为帝王的自由。但是，独孤皇后又是个善妒之人，她根本难以忍受丈夫宠爱其他女人。
有记载，杨坚临幸了尉迟迥的孙女之后，独孤氏非常生气。她利用杨坚上朝的时间，直接杀掉了尉迟氏，使得杨坚勃然大怒。他曾在深夜独自纵马二十多里，仰天感叹："自己为何身为天子却没有了自由。"此事之后，杨坚同独孤氏的感情就从举案齐眉变成了貌合神离。
