杨秀有个特别大的缺点，就是不能自律。当元岩去世以后，他的这个缺点就彻底暴露了，使用各种违制的东西不说，还抓山贼当太监，更有甚者，杨秀"生剖死囚，取胆为乐"。当然，这些事情还不能直接把他打倒，他错就错在不该跟二哥杨广作对。
杨广是玩阴谋的高手，他做了太子，你就该夹起尾巴，可杨秀浑然不觉，他对二哥做太子这件事非常不满。你不满就不满吧，自己知道就行，他偏不，闹得这事不断的传进杨广耳朵里。杨广可不是个善茬，直接罗织其罪状，告到杨坚面前，他的毛病本来就多，杨坚一看，就把杨秀和他的儿子们给抓回京关了起来，削其职，废其爵。
杨广即位后，倒也没心思去打击这位四弟，因为他对自己也够不成威胁。并且是走到哪儿都把他带着，当然，仍然是软禁状态。
