杨秀野心很大，杨坚就曾经对独孤皇后说："秀必以恶终。我在当无虑，至兄弟必反。"果然，杨秀在征伐西部边境的时候趁机扩充势力，任用亲信，被杨坚所察觉，数次责罚。从此，杨坚就对杨秀的势力加以控制。扩充势力受阻以后，杨秀想当一个纨绔子弟，于是开始享乐，最终被杨坚废为庶民。
杨谅，吃了不在皇帝身边的亏
杨谅是杨坚年纪最小的儿子，但他少年英才，年仅18岁便担任左卫大将军。22岁时就担任并州总管，并被杨坚赐予临机专断的特权。公元598年，杨谅奉命攻伐高丽，公元599年突厥侵犯隋朝的边境，杨谅又统兵征伐突厥。杨勇被废在公元600年，当时杨谅正在边境抗敌，自然也轮不上太子的宝座。
