史书记载，宇文赟有五个皇后，而杨丽华因为是杨坚的女儿，宇文赟不信任杨坚总觉得他会夺了自己的皇位，所以杨丽华在宫中经常遭到家暴。宇文赟动辄就对杨丽华拳打脚踢，这也是杨坚篡位的一个原因。其实，刚开始的时候，杨丽华和宇文赟之间也没有剑张跋扈到这个程度，宇文赟也是很喜欢这个温柔美丽的佳人。但可惜，好景不长，宇文赟的后宫里又多了很多莺莺燕燕，宇文赟对杨丽华就不耐烦起来了。再者，杨坚的地位越来越稳固，也引起了宇文赟的疑心。
杨坚对自己的这个女儿多少是有点愧疚的，所以他询问杨丽华要不要改嫁。杨丽华对于宇文赟还是有感情的，哪怕宇文赟最后对自己没了情意。况且，杨丽华处在一个很尴尬的地位。她的父亲篡了自己丈夫的位置，杨丽华也是心灰意冷，也于这些情爱之事提不上兴趣。所以，杨戬提出的改嫁她也是毫不犹豫的拒绝了。
