杨广的亲信，寿州刺史宇文述清楚地指出了这一点，并献计道，若买通杨素的兄弟杨约，便可能与杨素结成同盟。宇文述从杨广处带来大量珍贵的珠宝古玩，与时任大理少卿的杨约饮酒博采，有意将所有珍宝都输给了杨约，然后道出晋王亟欲与杨素、杨约兄弟俩结交，共图日后大业的本意。杨约一口允诺，并旋即向兄长转达了此意。杨素欣喜异常，拍手笑道："是呀，我一旦帮助晋王立为太子，便有莫大功劳，岂不是能在今上仙去之后，依旧保持富贵长存不衰？我先前怎么没有想到这点呢？"随后，杨素积极参与到中伤太子杨勇，吹捧晋王杨广的活动中。他先是谒见独孤皇后，用话试探，待到确信皇后也有意废立之后，便更加放肆地诋毁太子。
当杨勇泣不成声地告别父皇，致令文帝颇感怜悯之际，又是杨素敦促文帝必须有"壮士断腕"的决断，而不能留恋于儿女之情。于是，断绝了杨勇的最后一丝希望。蜀王杨秀对于大哥杨勇被废一事颇感不平，此时新被立为太子的杨广当然如芒刺在背，必欲除掉杨秀而后快，于是令杨素设法寻找杨秀的罪名。杨素则不负所托，将杨广故意埋入华山脚下的木偶发掘出来，并奏禀圣上，说道："蜀王将陛下的名字写在偶人上，缚手、 钉心，并书写请西岳神兵收取杨坚魂魄'等语，显有反心。"文帝当然勃然大怒，于是将杨秀废为庶人，并加幽禁。杨素为了杨广，确实可称效尽了"犬马之劳"。
