在他的暴政统治下，黎民百姓纷纷揭竿而起，杨广感觉到形势不对，想起了当年曾去过的江都风景不错，就想着到哪里去避避风头。然而他带去江都的禁军，心思却与他完全不同，这些人都是北方人，都不想长期在江都呆着，毕竟吃的住的都十分不习惯。时间稍长，很多士兵就趁人不备四下逃散，到了后来逃跑的人越来越多。杨广不懂得疏导将士情绪，一味地用消灭肉体的办法来加以处置，然而这样并没有收到效果，反而使下面的将士对他更加忌恨。
当时有一个叫做司马德戡的将军也在密谋逃跑，不过他可不是一个人跑，他计划带着万名禁军一起跑。后来这个消息就被宇文智及知道了，他看到杨广已经是众叛亲离，就威逼这些叛逃者听从自己的建议，杀死杨广扶宇文化及上位。他们一起制定了完整的实施计划以后，才把事情告诉了宇文化及。宇文化及哪里想到这些臣子们竟然要拥戴他弑君上位，当即吓得屁滚尿流，因此是连连拒绝。但是这些人已经被情势所逼，哪里肯让。宇文化及无奈之下，只好答应了他们的要求。
