后来隋文帝杨坚称帝，杨素特意投靠到他身边来了，甚至让他修改隋朝的法律。很快的，杨素就坐上了岁朝宰相的位子，尽管他在外人面前是威面八方的大将军加宰相，但只有他自己知道在家中是怎么的憋屈。郑祁耶身份高贵，来自于五姓七望之一的大家族，又和孤独皇后关系亲近，杨素本人对她是又爱又恨。
一次，两人又爆发了一次大争吵，当时杨素气的直接说了这样一句话："要是我当上皇帝了，绝对不会立你为后。"郑祁耶虽然厉害，但是也不能拿他怎么样，后来她就告状到了隋文帝杨坚那里，说杨素有造反之心，或许是同命相连的原因，杨坚只是笑笑，并没有惩罚他，毕竟自己也是深有体会。
