他先是靠绝妙的伪装，比如不近声色等假象，使自己的威望渐渐地高过了杨勇，继而又与杨素勾结，使隋文帝渐渐疑忌起了太子。而杨广之所以选择杨素是因为杨素曾追随杨坚，也辅助杨坚打下了天下，是杨坚最宠信的重臣，被封为越国公。最后也由于杨素在朝中的大肆活动，终于使隋文帝废掉杨勇，改立杨广为太子。
隋文帝的失误就在于这次废立上。他万万没有想到，他所器重的新太子竟会对他下毒手，并丧送了他所开创的大隋帝业。到了仁寿年间，杨坚已经不像即位之初那样励精图治，逐渐变得苛薄不仁，听信异端邪说。而且，自打独孤皇后死后，他开始纵情声色，整日与陈氏、蔡氏两个美人淫乐，并将两人分别封办宣华夫人、容华夫人。到后来，他干脆将政事交给杨广，在仁寿宫中日夜与二位美人厮守在一起。
