这一惊非同小可，自此以后，杨广更加的疑神疑鬼，总觉得有人会杀他，而当时的天下已然大乱，他的命确实已经不是自己的了。大业十二年的四月，大业殿的西院起火。
帝以为盗起，惊走，入西苑，匿草间，火定乃还。
杨广以为外面的盗贼已经冲进宫殿来杀他了，于是他吓得跑到西苑，找了个草丛厚的地方躲了起来，一直等到火被扑灭了，而大臣们都在找他的时候，他才从草丛里出来。
这哪还是一位帝王所为，而他也确实心灰意冷，不久就被宇文述劝说着下江都，将两京留给了两个十来岁的孙子看守。从此，杨广再也不肯离开江都，只想着偏安江都，等于是放弃了北方的大部分土地的控制权。
而他的不愿意回京，却惹怒了身边跟随着的骁果军，最终骁果军叛变，再加上有心人的利用，杨广的生命就定格在了江都。
一代帝王魂归西天，一个帝国二世而亡。
