而除了暴政之外，还有一个方面也是其受到批判的主要原因，那就是关于其皇位是否是合法继承的命题。封建社会以来，基本上皇权更替遵循的都是嫡长子继承制度，而后世文人作品则表现了其弑父夺权一面。父系社会，父为尊，这样的行为自然是被批判的，而《隋书》中就提供了两个截然相反的命题：高祖本纪中所记载的文帝是因为病危而导致的自然死亡，但是在后续的《杨素传》等传记之中却又提供给读者一个文帝之死不是偶然而是杨广弑父。而后世因为杨光本身确实是暴君，便使用了弑父这一说法，直接了当的给他安上了这个罪名，甚至还进行了不少的补充，杨广自此之后便完全成为了一个泯灭人性的人。
但是史书毕竟是由胜利者所书写的，在杨广本身劣迹斑斑的情况之下，当然要再添一把火，将杨广的形象彻底丑化，这样才能够让人更加信服唐王朝的统治，这也是历朝历代史书的惯用伎俩，虽然说史书已经尽力客观，但是不得不说还是有其偏向性的，就拿同时代的唐代的史书来说，为了表现突出李世民的形象，甚至于会刻意淡化李渊的作用，更不要说前朝国君了，自然是能丑化自然不会放过。
而现在很多人批判隋炀帝还有一点，那就是他好色。古代皇宫美人如云，《礼记》之中就记载了当时周王室“古者天子后立六宫、三夫人、九嫔、二十七命妇、八十一御妻”，这个数字可谓是十分庞大，甚至于唐高祖李渊和隋炀帝一样都有四夫人、九嫔、二十七世妇、八十一御妻，要说隋帝过分到哪里去，也就多了点女官而已，可以说隋炀帝的后宫群真的不大，甚至于后妃传里也仅有三个人，孩子也只有三个，还有两个是正牌老婆萧皇后的。所以说他耽于美色，还真不至于，但是他三个有记载的，有俩原本是他父皇文帝的，这就有问题了，在传统的儒家礼仪中，这是不能被允许的，甚至是“淫乱”的行为，这或许也是其后世被人认作是好色之徒的一大原因。
隋炀帝最初为晋王时，为了讨好母亲，私生活十分检点，到了继位后也十分检点，并没有淫乱宫廷的行为，直到隋炀帝后期，国家大乱，他才开始真正的纵情声色，就像上文所说的“资质端丽者，每岁贡之”，甚至于“又引少年，令与宫人秽乱”。不过唐代的史书并没有细致刻画，直到宋代才有关于其后宫的具体描画，并且直接将其定义为好色之徒。但是不得不说，在唐代的史书记载中，隋炀帝还并不是一个只知道耽于女色爱好淫乱的帝王。
所以说隋炀帝并不是一个一无是处的人，在唐代的史书之中，他的形象还算得上较为客观，而到了宋代及以后，他的形象彻底覆灭，成为了一个一无是处的君王，这也是很多人对于隋炀帝的看法，但是这样的看法却并不准确。隋炀帝确实暴虐，但是他在位的十三年里，确确实实为后世做出了不小的贡献，例如大运河，例如科举制。
