然而此一时彼一时，纵使是独孤和杨坚两人曾有过共度患难的日子，情感也是值得考验。但是杨坚成为皇帝之后难免也会有所好，到了独孤皇后晚年时，杨坚也想要宠幸一两个妃子来作为生活调剂。对此他也大胆的做出了尝试，和宫女尉迟氏发生了关系。然而让人没想到的是，皇后大吃干醋，愤怒之下更是直接把尉迟氏给杀了。杨坚得到这样的结局也是又气又恼，更是干出了一件历来皇帝从未做过的事情，那就是离家出走。
在《隋书》中记载到："单骑从苑中而出，不由径路，入山谷间二十余里。"，此时的杨坚已经跑远了，大有不回头的气势。好在杨素等人的苦劝，以一妇人何以轻天下的言论劝回了杨坚。事后独孤皇后也是态度诚恳的认错，这才平息了杨坚的怒火。不过纵使杨坚身为皇帝有着无法坐拥后宫的无奈，但他幸福吗？答案是显然的。
