当时杨素的父亲杨敷率军在外守卫城池时，因为城中粮尽、孤立无援，被北齐攻破，杨敷拒不投降，以身殉国。按道理，杨敷应该受到朝廷的追谥表彰，但周武帝却迟迟没有这么做。杨素很不满，他直接上表提了这件事，还把奏章写得充满怨气。
周武帝不理他，杨素不放弃，连续不断地上表，终于把周武帝惹毛了，下令杀了他。杨素倔脾气犯了，他竟然当着所有人的面大喊大叫起来："我给无道的天子办事，死了也是活该呀！"没想到周武帝听了他这不怕死的话，反倒很赏识他的胆气，下令释放，还给他升官。
后来，杨坚受北周的禅让，建立了隋朝，杨素得到重用，被拜为上柱国，因为他辅佐杨坚，参与攻灭南朝陈国的计划，又升任宰相。杨素的妻子郑祁耶是个出名的悍妇妒妻，最不喜欢杨素纳妾。但男人本性风流，杨素忍不住，所以和郑祁耶爆发了一次争吵。
那时正是开皇4年，隋文帝杨坚还没有攻灭陈国。杨素和郑祁耶吵架，吵得上了头，气急败坏之下吼了一句："就你这样子，我要是当了皇帝，你别想做皇后！"没想到郑祁耶听了后，马上向隋文帝夫妇俩告发了这件事。
