宇文赟很快就想出了办法来折腾她，他又立了三个皇后，当时后宫里出现了从未有过的奇妙景象，四位皇后并立，杨丽华在后宫的权利和地位当然都下降了。这也是宇文赟为了对付杨坚想出的办法，如果杨坚对这种情况表示了不满，他就可以找理由把杨坚杀死。如果杨丽华在这个位置上有什么嫉妒，也会招致一系列的罪名。
但是这两位，一个是饱经磨练的权臣，他哪怕心中确实对这位皇帝已经无法忍受，却仍然能维持表面上的恭敬，而被他养大的杨丽华，从成为太子妃就明白自己不能够放纵自己的情绪，如果她走错了一步，那么带来的可能是全家都会遭到牵连被杀死的后果。他们两个人都没表现出什么异样，反而都非常顺从，哪怕之后宇文赟又立了一个皇后，她也没有说什么不满意的话。
