当时恰逢尉迟迥起兵，反对杨坚篡权。杨素遂被杨坚拜为大将军，并击败尉迟军队，迁升徐州总管，进位柱国，封清河郡公，食邑二千户。隋文帝登基，杨素加上柱国，开皇四年（584），又被拜为御史大夫。在文帝的治下，杨素的仕途越来越通达。隋王朝初期，杨素所立的第一件大功，乃是在开皇九年（589）平陈战争中的出色战绩。他在出任信州（辖境约当今四川万州区以东的长江南北与大宁河流域，以及湖北巴东以西地区）总管的期间便早作准备，建造了高达一百余尺的巨大战舰，每舰可以容纳八百名军士，其他尚有可容百人的"黄龙"军舰，以及更小的"舴艋"等。待到隋廷大举伐陈之日，杨素以"行军元帅"的身份，率领水军直奔三峡。
在陈军以重兵扼守险地、攻难守易的形势下，杨素出奇兵，利用夜色的掩护而一举击破敌阵，大获全胜。杨素优待俘虏，不犯百姓，博得陈朝境内军民的一致好评。当他率领浩浩荡荡的水军沿江东下，自己端然乘坐大船之上时，陈人都赞叹道："清河公真像江神一般啊！"于是，杨素威名大振，陈军闻风丧胆。他一路用兵如神，势如破竹，扫荡巴陵以东，直下汉口。由于平陈的卓著功勋，杨素先后被拜为荆州总管，封越国公，又拜纳言，后再转内史令。其子杨玄感、杨玄奖等也都获封赐。在此之后，杨素又相继平定了作乱于江南的李稜、朱莫问、顾世兴、叶略、高智慧、沈孝彻等人，使隋廷真正控制了陈王朝灭亡之后的江南地区。
文帝龙颜大悦，当然赐予杨素更高的荣誉和地位，命他代替苏威而为尚书右仆射，与高颎一起专掌朝政。杨素在朝廷中的显赫地位，以及文帝对他的言听计从，令许多朝臣羡慕不已，有些人则竭力与之亲近，以利用他的这一"优势"采取实际行动，并获得极大成功的人乃是晋王杨广杨广蓄意取代兄长杨勇而为太子，谋划已久。他利用杨勇宠幸侧室云氏的弱点，已初步获得母亲独孤皇后对自己的好感，但是他也明白，如果不能进一步打动父皇之心，便一切成为泡影，而目前在国事方面最能影响文帝的大臣之一便是杨素。
