在杨坚夺取北周政权的关键时刻，想着打虎还得亲兄弟，就让长子杨勇去邀请杨瓚相助。杨瓚"素与帝不协"，不但"不从"，还说"作隋国公恐不能保，何乃更为族灭事邪"，认为杨坚当个国公就很不错了，想要更进一步，肯定会爬得高摔得狠，还会带来灭族之灾。杨坚掌握北周实权后，杨瓚"恐为家祸"，害怕万一事败受到牵连，甚至"阴有图帝计"，要找机会除掉杨坚。杨坚虽然"每优容之"，还在即位后封其为滕王，但仍怀恨在心。杨瓚王妃顺阳公主因妯娌间的琐事，和独孤皇后向来不睦，暗地里有诅咒之事，文帝命令杨瓚休妻，杨瓚不从，文帝就在家谱上抹去王妃名字。开皇十一年（591）八月，杨瓚跟随文帝前往长安南边的栗园，兄弟二人在树下饮酒。杨瓚刚喝一杯，就七窍流血而死，年仅44岁。"人皆以为遇鸠"，时人都认为是被杨坚毒死。
杨整早在跟随北周武帝东征北齐的时候就战死沙场，否则下场不会比杨瓚好。开皇年间，杨整妻子去世，儿子请求下葬其母。杨坚接到有关部门的报告后，愤愤地向大臣回忆了当年两个弟弟对自己的羞辱陷害，公然说道，"羡人无兄弟"。
文帝对亲弟弟如此做派，几个儿子都看在眼里，记在心里，不免有样学样，相互之间缺乏兄弟亲情，全然没有兄友弟恭的和谐天伦。
再说偏心不公，这点突出表现在文帝夫妇对杨勇和杨广的态度上。
杨广篡夺东宫，本来就没有任何正义性可言，况且杨勇作为太子，并无大错，文帝夫妇本该旗帜鲜明地支持杨勇，断绝杨广的觊觎之心，但却在二人的争斗中，明显偏向杨广。文帝曾让相面大师来和给几个儿子看相，来和言杨广"眉上双骨隆起，贵不可言"，文帝予以默认。文帝又问曾经预言他必登皇位的韦鼎，"我诸儿谁得嗣位"？当时杨勇已经是太子储君，文帝再问这话，明显是在摇动东宫，对杨勇不满。韦鼎很是聪明，回道，"至尊、皇后所最爱者当与之，非臣敢预知也"，文帝对此一笑了之，"卿不肯显言邪"，亦不置可否。
