有一段时间，杨坚和独孤伽罗受到宇文护的打压，行为处事如履薄冰，这段时间，也是他们俩人生中最艰难的日子，两人相互扶持，共同走过，杨坚自然不可能在这段时间去找其他女子。再后来，宇文护被北周武帝宇文邕所杀后，杨坚重新回到政坛，然后一步步想权力巅峰冲刺，最终谋朝篡位。这个过程中，杨坚所依靠的最主要力量，就是独孤家族和他的两个儿子杨广和杨勇，这两个儿子又都是独孤伽罗所生。
在这种背景下，杨坚自然不可能去找其他女人。最后，等到杨坚登基为帝，又发兵灭掉南方的陈国后，一方面是考虑到皇帝好歹得有几个妃子，否则颜面过不去，另一方面也是出于巩固南方的统治，所以杨坚在和独孤伽罗商议后，便将陈宣帝的两个女儿，宣华夫人陈氏和弘政夫人陈氏纳入后宫，同时还将陈国的容华夫人蔡氏也纳入后宫。当然，虽然他们被纳入后宫，杨坚对他们并没有过多的宠幸，直到独孤皇后死后，三人才渐渐得宠，都被封为贵人，并参与管理后宫事务。两年后，杨坚也去世，与独孤皇后合葬于太陵。
