宝庆公主与赵辉成亲后，由于她身份的尊贵，导致赵辉也跟着沾光，朝中奉承他的人也越来越多，因此赵辉对宝庆公主特别尊重，这等于就是他的金饭碗呢。二人婚后二十余年，夫妻一直相处和睦，恩爱有加，成为当时的一段佳话。可是再美的故事，也有结束的时候。在宝庆公主四十岁去世后，赵辉就好像变了个人似的，开始为所欲为起来。
朱棣眼中那值得托付的赵辉，在宝庆公主和朱棣都相继去世后，也仍然受到新任皇帝明仁宗的尊重甚至是重任，让原本不可以任重要职位的赵辉担任了南京都督的官职，还监管着宗人府，这在当时，可是了不起的大官。得到重用后的赵辉，没了宝庆公主和朱棣的监督，在男女之事上，越发的张扬了。
赵辉开始一个一个的给自己纳妾，据史记记载，他府中小妾最多时，竟多达一百多个，日日纵情声色，毫不顾忌皇家脸面。因为当时明朝的风气不好，每个大富大贵的家里，都娶了很多小妾，大家都习以为常。而且后面继任的皇帝都是他的小辈，没人敢去斥责他，赵辉便更肆无忌惮。
