老四也是很给老皇帝面子，人家真就做了个土皇帝，反正天高皇帝远的，人家在蜀帝"车马被服，一拟天子"。也可能是无人约束习惯了，当杨勇被废，杨广当上太子后，杨秀就表达了不满之意，史载"意甚不平"。这很明显是跟杨广公开叫板了，杨广就用对付大哥的那套，让亲近的杨素向老皇帝揭发老四有异志。杨秀后来就被招回京城软禁起，老皇帝还说"当斩杨秀于市，以谢百姓"。后来杨广又以巫蛊之术嫁祸于杨秀，使其被废为庶人，杨广即位后，巡行各地时还要把杨秀关在笼子里随行，最终杨秀和他的儿子们也都死于宇文化及的弑逆之中。
"自以所居天下精兵处，居常怏怏，阴有异图。"--《隋书》
老五杨谅也是善于治军打仗，但与杨秀不同，老皇帝非常喜欢这个小儿子。所以这也给老五造成一个错觉，觉得大哥被废之后，自己是有机会当上太子的。但当时杨广直接上位，杨谅便以防突厥为名，缮治甲兵，大发器具，这就是在为以后做打算了，即老皇帝要是归天了，那么老五就要起兵夺位了。天寿二年老四被废的时候，杨谅更加看清了二哥残害兄弟手足的行为，所以也更加坚定了造反的决心。
