虞世基说："小偷小摸，人再多，不足为虑，皇上您应该担心杨义臣拥兵自重，专权日久，恐怕生变"，杨广居然信以为真，并且下令让杨义臣解散部下，各归乡里，最后造反的人马才得到喘息之机。此举古今少有，不知道，隋文帝见到儿子此举，会不会从坟墓中爬出来。
当时兵锋最盛的有窦建德，还有李密，翟让的瓦岗军。不得不说，当时李密等人的造反，实乃被逼无奈，若不是杨广太昏庸。而且三次发病高句丽，都无功而返，反而损失惨重。消耗国力是其次，抓壮丁冲兵，全国各地修建宫殿，劳民伤财，搞得百姓人人自危，就如当年陈胜吴广起义一样。
当时李密让文人祖君彦写的《讨隋炀帝檄文》还被后世所传颂。并且给杨广列出了十大恶心：弑父，乱伦，嗜酒，劳民，滥赋，兴役，征辽，滥诛，卖官，无信。人人都称好文采，只可惜当时的隋炀帝没有机会亲览檄文。天下大乱之际，隋炀帝他都在干什么？
由于朝廷混乱，国内民众群起反叛，就连李渊罗毅这样的大臣也起兵不听朝廷的节制。最后李渊攻进了长安城，离了杨广的孙子代杨侑为帝，其实就是一个傀儡皇帝。这时候的隋朝已经面目全非。公元618年，隋炀帝游到了江都已经待了两年时间了，每天也不过问外面发生什么事。成日与幸妃嫔妇千余人饮酒作乐。
