隋文帝很清楚杨素说的不过是句气话，再加上同病相怜，便不想治他的罪。所以在听完郑祁耶告发后，隋文帝只是微微一笑，并没有处置杨素的意思。没想到，孤独皇后此时却为郑氏出头，坚持要求皇帝严惩杨素。文帝不敢违逆老婆的意见，只好将杨素罢官，但却留住了他的性命（"其妻郑氏性悍，素忿之曰：'我若作天子，卿定不堪为皇后。'郑氏奏之，由是坐免。"引文同上）。
杨素虽然被免官，但因为文帝倚重于他，所以不久后便又让其官复原职。不过经此一事，杨素也开始变得谨慎小心起来，无论在朝堂上还是在家里面，都不敢再口无遮拦。而正因如此，杨素才得以长期保持荣华富贵，并最后得以善终。
史料来源：《隋书》、《北史》、《资治通鉴》
