杨广即位，汉王杨谅举二十万大军据并州而反，杨素仅以数万人东征平乱；先在高壁之战，面对敌军十万大军五十里战阵，亲自带兵从山路袭敌后路，两相夹攻，破杀杨谅部将赵子开十万余；再在清源之战，以正兵决战，又大败杨谅十万大军，生擒当世第一猛将萧摩诃，一举平乱。突厥汗国鼎盛时期，地跨西域和大漠南北，疆域为当时全世界第一大国，威势亦是举世第一强国。杨素北征突厥，一改中原军队传袭千年的戎车鹿角阵战法，以骑阵对骑阵，轻勇先冲，大军奋进,击破突厥大汗亲率十余万精骑，打得突厥达头大汗重创而遁，"杀伤不可胜计，群虏号哭而去"。杨素再征突厥，连胜败之，待突厥退兵时，杨素仅带数骑急行跟踪，轻蹈险地，等夜晚突厥军安营未定时，疾行而回调度大军奇袭大破之，从此突厥遥遥远遁，大漠之南无复虏庭。而这场以杨素为最杰出代表的大隋反击突厥战争，这也是隋朝真正的立国之战，一次次接连不断的出塞击垮对手，令其不得不屈意求和，称臣纳贡，标志着整个远东乃至亚洲霸权的易主，从此大隋帝国才成为亚洲乃至世界至强。
仁寿二年（602年），独孤皇后去世后，墓葬的规模制度，大多出自杨素之手。当时杨素一天比一天显贵荣耀，他的弟弟杨约、叔父杨文思、杨文纪以及族父杨异，都是尚书，位列公卿。诸子虽无汗马之劳，也都官至柱国、刺史。杨素家童几千人，后院披罗挂绮的乐妓小妾就以千计。府第华丽奢侈，规模体制摹仿皇宫。杨素卧病在床的时候，知道自己的名望和地位已到了极限，不肯吃药，也不想谨小慎微地活下去了，经常对弟弟杨约说："我难道还要活下去吗？"杨素死后，长子杨玄感继承了他的爵位。后来杨玄感起兵事败，遭到诛杀，杨素的家族也因受杨玄感的牵连都被株夷。
史载杨素"战无不胜，称为名将"，但他不仅武功强盛，而且文化渊博，乃当时著名的诗人。他是隋朝最有实权的人物，他打击异已，陷害忠良，但同时对于新人的引荐，极具眼光，乐于提携后辈，有几段成人之美的佳话。令后世津津乐道的几桩轶事，或真或假大都和他众多姬妾相关，成就了"破镜重圆""成人之美"这两个常用成语，再加"红拂夜奔"，一共三段爱情佳话。
其实这三段故事正史不载，都是唐代传奇小说所记述。唯一可考证的是杨素灭陈后，杨坚赏赐杨素"物万段，粟万石，加以金宝，又赐陈主妹及女妓十四人"，确实纳了一名陈国公主为妾。《隋书》记载，皇帝先后多次赏赐给杨素许多奴婢和妓妾，其中包括陈后主妹妹。尽管姬妾成群，但杨素却不太把她们当回事。当然这也可能与杨素有一个强悍的老婆有关系。《隋书?杨素列传》云："其妻郑氏性悍，素忿之曰：'我若作天子，卿定不堪为皇后。'郑氏奏之，由是坐免。"郑氏是个悍妇，杨素被惹怒极了，破口大骂："我若作天子，卿定不堪为皇后！"郑氏毫不示弱，一状告到隋文帝那里，弄得杨素被罢了一段时间的官。
