杨坚真是如此宽容吗？当然不是，要说杨坚完全不记恨杨瓒，那是不可能的。后来杨瓒犯了事，杨坚就趁机罢了他的职务，逼他去就藩。杨瓒的妻子是北周武帝的妹妹，自然对杨坚抢了宇文家的江山很不满，因此暗中施巫蛊之术诅咒杨坚。事情败露后，杨坚勒令杨瓒与宇文氏离婚，杨瓒说什么都不肯，再次得罪兄长。
在此之后，杨坚对杨瓒的态度越来越差。开皇十一年，杨瓒随兄长去栗园游玩，结果暴毙而亡，故人们猜测是杨坚将其谋害。
再者是四弟杨嵩，因父亲军功被封为兴城郡公，不过很早就去世了。杨坚称帝后，追封四弟为道王，谥号"宣"。由于杨嵩去世早，没有儿子，因此杨坚将三弟杨瓒的一个儿子过继给他，并袭封道王。
最后是五弟杨爽，因父亲军功被封为同安郡公。杨爽从小长相乖巧，且性格聪慧，所以杨坚尤其疼爱这个弟弟。由于父亲杨忠去世时，杨爽年仅六岁，因此交由嫂子孤独皇后抚养。
隋朝建立后，杨坚对杨爽很是器重，将他封为卫王，上柱国，又任大将军。开皇二年，突厥入侵，先后在凉州、金城、天水、延安等地掠夺。杨坚随即命杨爽为行军元帅，让他去阻击突厥。杨爽听从谋士建议，最后成功阻击突厥，俘虏上千人，突厥可汗虽然逃脱，但身受重伤。
