四子杨秀初封越王，出任柱国，后改为蜀王。他武功高强长相英俊，朝中大臣对他有所畏惧。当得知二哥杨广夺嫡成功后，杨秀心中很是不满。后来被陷害施巫蛊之术诅咒隋文帝，被削职为民。杨广被杀后，宇文化及有意立杨秀为帝，可是遭到众人反对，最后杨秀惨被杀害。
五子杨谅封汉王，官至上柱国、并州刺史、左卫大将军。他同样不满二哥杨广夺嫡成功，于是起兵造反，结果被楚国公杨素击败，最终幽禁至死。
长女杨丽华，嫁给了北周太子宇文赟，后者即位后，封杨丽华为皇后。杨丽华一生无子，为宇文赟生有一女宇文娥英，后嫁给柱国李敏。宇文赟驾崩后，她扶持继子宇文阐即位，被尊为皇太后。
