与独孤皇后对人谦和相映成趣的，是她对隋文帝在女人问题上的专横。只要君主愿意，国内每一个女性都可以成为他的配偶或情欲宣泄的对象,出于限制君主对女性过度占有的考虑，历朝制定了相应的后妃制度，确定不同级别嫔妃的人数。民间形象的说法是:三宫六院七十二妃。
在独孤皇后的干预下，隋文帝的嫔妃被减低到历朝内宫的最低数，除皇后之外，嫔三人，世妇九人，女御三十八人。如此做，独孤皇后并非没有道理，她与隋文帝是有约在先的，为了照顾到丈夫做皇帝的面子，她已经做了让步。后宫虽说有几十粉黛，但独孤皇后牢牢把着关，除了她和宣华夫人陈氏外，对其他嫔妃，隋文帝实际上难得见上一面。
独孤皇后还瞪大着眼，严密控制隋文帝与嫔妃以外的女人交往。有约在先，隋文帝对独孤皇后的约束听之任之。
尽管隋文帝不是好色之徒，但他毕竟有七情六欲，有次巡幸仁寿宫，还是被一个长得楚楚动人的宫女尉迟氏给迷住了，于是发生了男欢女爱的事情。
