杨广与朝中大臣交往，表现地恭敬而谦卑，礼数很周到。因此杨广受到群臣的交口称赞，美名远扬，自然也传到了杨坚的耳中。
杨广是藩王，朝见结束后，需要回到封地扬州，临走前他向独孤皇后告辞。杨广先哭着诉说离别之愁，煽动情绪，独孤皇后也被感动地流泪哭泣。杨广又诬陷说杨勇想加害自己，独孤皇后闻言勃然大怒，也表达了对杨勇的不满。说完母子二人又一起痛苦，悲不自胜。
杨广此次与独孤皇后分别后，知到母后内心已经动摇，于是开始实施夺取太子之位的计划。杨广以张衡为谋主，派褒国公宇文述与杨约深交，令杨约将自己的意图告诉越国公杨素，并且说独孤皇后有废黜太子杨勇的意图。
杨素是隋朝开国功臣，位高权重，深受杨坚器重，有他的支持，杨广便能如虎添翼。但杨素老奸巨猾，没有轻易相信杨广的话，毕竟站错队会有杀身之祸。杨素在独孤皇后面前含蓄地称赞杨广，以此揣测皇后的心意。皇后哭泣说："您说的对，我儿杨广孝顺，哪像太子杨勇那样整天沉湎酒色，亲近小人，企图谋害兄弟。"杨素知道独孤皇后的心意后，因此又说太子没有才能。独孤皇后于是赐给杨素金钱，开始有废黜太子杨勇的心思。
