隋朝开国功臣杨素，年少时洒脱豪放，胸怀大志，不拘小节。杨素刻苦学习，博学多闻，善于写文章，精通草书和隶书。杨素早年在北周担任官职，屡立战功，受到周武帝的赏识。
周宣帝时，杨坚的女儿杨丽华当了皇后，因此杨坚在朝野颇有威望。周宣帝病死后，其子周静帝宇文阐才八岁，不能处理国政。大臣郑译、刘昉与杨坚有交情，并且认为杨坚德高望重，于是矫诏让杨坚摄政。杨坚扫清障碍，逐渐掌握了军政大权，隐约有篡位的意图。
杨素很清楚当前形势，主动与杨坚深交。杨坚也很器重杨素，任命杨素为汴州刺史。相州总管尉迟迥不服杨坚，起兵造反，声势浩大。杨素被杨坚任命为大将军，战胜了尉迟迥，因功升为徐州总管，进位为柱国，被封为清河郡公，食邑二千户。
其后杨坚逼迫周静帝禅位，自己登基称帝，是为隋文帝。杨素因为有辅佐之功，被加封为上柱国。开皇四年，杨素担任御史大夫。
