他为隋朝立下的主要功绩有：
1、控制长江中游，平定南陈。588年，隋文帝下诏伐陈，杨素与晋王杨广、秦王杨俊被一起封为行军元帅，杨素统帅水军顺江而下。杨素凭着出色的指挥能力，沿江而下，陈朝官兵闻风丧胆，纷纷归降。他从重庆一直打到了扬州，为下游战事的顺利开展提供了保障。
2、平定叛乱，维护统一。隋朝灭了陈朝后，江南各地的一些士族掀起了叛乱活动，使隋朝统一产生了严重的危机，隋文帝此时又派出了杨素为主将，率领史万岁等人前往江南平叛。经过多达数百次的战斗，杨素最终将大大小小的叛乱全部平定，江南重新恢复安定。
3、大破突厥，保家卫国。杨素前后三次出塞，都大破突厥。第一次与突厥达头可汗作战，杨素用骑兵与突厥人对攻，结果"达头被重创而遁，杀伤不可胜计，群虏号哭而去"。在杨素等人的打击下，"自是突厥远遁，碛南无复虏庭"。
